数据模型研究论文

在统计学中，统计模型是指当有些过程无法用理论分析 方法 导出其模型，但可通过试验或直接由工业过程测定数据，经过数理统计法求得各变量之间的函数关系。下文是我为大家整理的关于统计模型论文的 范文 ，欢迎大家阅读参考!

统计套利模型的理论综述与应用分析

【摘要】统计套利模型是基于数量经济学和统计学建立起来的，在对历史数据分析的基础之上，估计相关变量的概率分布，并结合基本面数据对未来收益进行预测，发现套利机会进行交易。统计套利这种分析时间序列的统计学特性，使其具有很大的理论意义和实践意义。在实践方面广泛应用于个对冲基金获取收益，理论方面主要表现在资本有效性检验以及开放式基金评级，本文就统计套利的基本原理、交易策略、应用方向进行介绍。

【关键词】统计套利 成对交易 应用分析

一、统计套利模型的原理简介

统计套利模型是基于两个或两个以上具有较高相关性的股票或者其他证券，通过一定的方法验证股价波动在一段时间内保持这种良好的相关性，那么一旦两者之间出现了背离的走势，而且这种价格的背离在未来预计会得到纠正，从而可以产生套利机会。在统计套利实践中，当两者之间出现背离，那么可以买进表现价格被低估的、卖出价格高估的股票，在未来两者之间的价格背离得到纠正时，进行相反的平仓操作。统计套利原理得以实现的前提是均值回复，即存在均值区间(在实践中一般表现为资产价格的时间序列是平稳的，且其序列图波动在一定的范围之内)，价格的背离是短期的，随着实践的推移，资产价格将会回复到它的均值区间。如果时间序列是平稳的，则可以构造统计套利交易的信号发现机制，该信号机制将会显示是否资产价格已经偏离了长期均值从而存在套利的机会 在某种意义上存在着共同点的两个证券(比如同行业的股票)， 其市场价格之间存在着良好的相关性，价格往往表现为同向变化，从而价格的差值或价格的比值往往围绕着某一固定值进行波动。

二、统计套利模型交易策略与数据的处理

统计套利具 体操 作策略有很多，一般来说主要有成对/一篮子交易，多因素模型等，目前应用比较广泛的策略主要是成对交易策略。成对策略，通常也叫利差交易，即通过对同一行业的或者股价具有长期稳定均衡关系的股票的一个多头头寸和一个空头头寸进行匹配，使交易者维持对市场的中性头寸。这种策略比较适合主动管理的基金。

成对交易策略的实施主要有两个步骤：一是对股票对的选取。海通证券分析师周健在绝对收益策略研究―统计套利一文中指出，应当结合基本面与行业进行选股，这样才能保证策略收益，有效降低风险。比如银行，房地产，煤电行业等。理论上可以通过统计学中的聚类分析方法进行分类，然后在进行协整检验，这样的成功的几率会大一些。第二是对股票价格序列自身及相互之间的相关性进行检验。目前常用的就是协整理论以及随机游走模型。

运用协整理论判定股票价格序列存在的相关性，需要首先对股票价格序列进行平稳性检验，常用的检验方法是图示法和单位根检验法，图示法即对所选各个时间序列变量及一阶差分作时序图，从图中观察变量的时序图出现一定的趋势册可能是非平稳性序列，而经过一阶差分后的时序图表现出随机性，则序列可能是平稳的。但是图示法判断序列是否存在具有很大的主观性。理论上检验序列平稳性及阶输通过单位根检验来确定，单位根检验的方法很多，一般有DF，ADF检验和Phillips的非参数检验(PP检验)一般用的较多的方法是ADF检验。

检验后如果序列本身或者一阶差分后是平稳的，我们就可以对不同的股票序列进行协整检验，协整检验的方法主要有EG两步法，即首先对需要检验的变量进行普通的线性回归，得到一阶残差，再对残差序列进行单位根检验，如果存在单位根，那么变量是不具有协整关系的，如果不存在单位根，则序列是平稳的。EG检验比较适合两个序列之间的协整检验。除EG检验法之外，还有Johansen检验，Gregory hansan法，自回归滞后模型法等。其中johansen检验比较适合三个以上序列之间协整关系的检验。通过协整检验，可以判定股票价格序列之间的相关性，从而进行成对交易。

Christian L. Dunis和Gianluigi Giorgioni(2010)用高频数据代替日交易数据进行套利，并同时比较了具有协整关系的股票对和没有协整关系股票对进行套利的立即收益率，结果显示，股票间价格协整关系越高，进行统计套利的机会越多，潜在收益率也越高。

根据随机游走模型我们可以检验股票价格波动是否具有“记忆性”，也就是说是否存在可预测的成分。一般可以分为两种情况：短期可预测性分析及长期可预测性分析。在短期可预测性分析中，检验标准主要针对的是随机游走过程的第三种情况，即不相关增量的研究，可以采用的检验工具是自相关检验和方差比检验。在序列自相关检验中，常用到的统计量是自相关系数和鲍克斯-皮尔斯 Q统计量，当这两个统计量在一定的置信度下，显著大于其临界水平时，说明该序列自相关，也就是存在一定的可预测性。方差比检验遵循的事实是：随机游走的股价对数收益的方差随着时期线性增长，这些期间内增量是可以度量的。这样，在k期内计算的收益方差应该近似等于k倍的单期收益的方差，如果股价的波动是随机游走的，则方差比接近于1;当存在正的自相关时，方差比大于1;当存在负的自相关是，方差比小于1。进行长期可预测性分析，由于时间跨度较大的时候，采用方差比进行检验的作用不是很明显，所以可以采用R/S分析，用Hurst指数度量其长期可预测性，Hurst指数是通过下列方程的回归系数估计得到的：

Ln[(R/S)N]=C+H*LnN

R/S 是重标极差，N为观察次数，H为Hurst指数，C为常数。当H>时说，说明这些股票可能具有长期记忆性，但是还不能判定这个序列是随机游走或者是具有持续性的分形时间序列，还需要对其进行显著性检验。

无论是采用协整检验还是通过随机游走判断，其目的都是要找到一种短期或者长期内的一种均衡关系，这样我们的统计套利策略才能够得到有效的实施。

进行统计套利的数据一般是采用交易日收盘价数据，但是最近研究发现，采用高频数据(如5分钟，10分钟，15分钟，20分钟收盘价交易数据)市场中存在更多的统计套利机会。日交易数据我们选择前复权收盘价，而且如果两只股票价格价差比较大，需要先进性对数化处理。Christian L. Dunis和Gianluigi Giorgioni(2010)分别使用15分钟收盘价，20分钟收盘价，30分以及一个小时收盘价为样本进行统计套利分析，结果显示，使用高频数据进行统计套利所取得收益更高。而且海通证券金融分析师在绝对收益策略系列研究中，用沪深300指数为样本作为统计套利 配对 交易的标的股票池，使用高频数据计算累计收益率比使用日交易数据高将近5个百分点。

三、统计套利模型的应用的拓展―检验资本市场的有效性

Fama(1969)提出的有效市场假说，其经济含义是:市场能够对信息作出迅速合理的反应,使得市场价格能够充分反映所有可以获得的信息,从而使资产的价格不可用当前的信息进行预测,以至于任何人都无法持续地获得超额利润.通过检验统计套利机会存在与否就可以验证资本市场是有效的的，弱有效的，或者是无效的市场。徐玉莲(2005)通过运用统计套利对中国资本市场效率进行实证研究，首先得出结论：统计套利机会的存在与资本市场效率是不相容的。以此为理论依据，对中国股票市场中的价格惯性、价格反转及价值反转投资策略是否存在统计套利机会进行检验，结果发现我国股票市场尚未达到弱有效性。吴振翔，陈敏(2007)曾经利用这种方法对我国A股市场的弱有效性加以检验，采用惯性和反转两种投资策略发现我国A股若有效性不成立。另外我国学者吴振翔，魏先华等通过对Hogan的统计套利模型进行修正，提出了基于统计套利模型对开放式基金评级的方法。

四、结论

统计套利模型的应用目前主要表现在两个方面：1.作为一种有效的交易策略，进行套利。2.通过检测统计套利机会的存在，验证资本市场或者某个市场的有效性。由于统计套利策略的实施有赖于做空机制的建立，随着我股指期货和融资融券业务的推出和完善，相信在我国会有比较广泛的应用与发展。

参考文献

[1] . Burgess：A computational Methodolology for Modelling the Dynamics of statistical arbitrage, London business school,PhD Thesis,1999.

[2]方昊.统计套利的理论模式及应用分析―基于中国封闭式基金市场的检验.统计与决策,2005,6月(下).

[3]马理,卢烨婷.沪深 300 股指期货期现套利的可行性研究―基于统计套利模型的实证.财贸研究,2011,1.

[4]吴桥林.基于沪深 300 股指期货的套利策略研究[D].中国优秀硕士学位论文.2009.

[5]吴振翔,陈敏.中国股票市场弱有效性的统计套利检验[J].系统工程理论与实践.2007,2月.

关于半参统计模型的估计研究

【摘要】随着数据模型技术的迅速发展，现有的数据模型已经无法满足实践中遇到的一些测量问题，严重的限制了现代科学技术在数据模型上应用和发展，所以基于这种背景之下，学者们针对数据模型测量实验提出了新的理论和方法，并研制出了半参数模型数据应用。半参数模型数据是基于参数模型和非参数模型之上的一种新的测量数据模型，因此它具备参数模型和非参数模型很多共同点。本文将结合数据模型技术，对半参统计模型进行详细的探究与讨论。

【关键词】半参数模型 完善误差 测量值 纵向数据

本文以半参数模型为例，对参数、非参数分量的估计值和观测值等内容进行讨论，并运用三次样条函数插值法得出非参数分量的推估表达式。另外，为了解决纵向数据下半参数模型的参数部分和非参数部分的估计问题，在误差为鞅差序列情形下，对半参数数据模型、渐近正态性、强相合性进行研究和分析。另外，本文初步讨论了平衡参数的选取问题，并充分说明了泛最小二乘估计方法以及相关结论，同时对半参数模型的迭代法进行了相关讨论和研究。

一、概论

在日常生活当中，人们所采用的参数数据模型构造相对简单，所以操作起来比较容易;但在测量数据的实际使用过程中存在着相关大的误差，例如在测量相对微小的物体，或者是对动态物体进行测量时。而建立半参数数据模型可以很好的解决和缓解这一问题：它不但能够消除或是降低测量中出现的误差，同时也不会将无法实现参数化的系统误差进行勾和。系统误差非常影响观测值的各种信息，如果能改善，就能使其实现更快、更及时、更准确的误差识别和提取过程;这样不仅可以提高参数估计的精确度，也对相关科学研究进行了有效补充。

举例来说，在模拟算例及坐标变换GPS定位重力测量等实际应用方面，体现了这种模型具有一定成功性及实用性;这主要是因为半参数数据模型同当前所使用的数据模型存在着一致性，可以很好的满足现在的实际需要。而新建立的半参数模型以及它的参数部分和非参数部分的估计，也可以解决一些污染数据的估计问题。这种半参数模型，不仅研究了纵向数据下其自身的t型估计，同时对一些含光滑项的半参数数据模型进行了详细的阐述。另外，基于对称和不对称这两种情况，可以在一个线性约束条件下对参数估计以及假设进行检验，这主要是因为对观测值产生影响的因素除了包含这个线性关系以外，还受到某种特定因素的干扰，所以不能将其归入误差行列。另外，基于自变量测量存在一定误差，经常会导致在计算过程汇总，丢失很多重要信息。

二、半参数回归模型及其估计方法

这种模型是由西方著名学者Stone在上世纪70年代所提出的，在80年代逐渐发展并成熟起来。目前，这种参数模型已经在医学以及生物学还有经济学等诸多领域中广泛使用开来。

半参数回归模型介于非参数回归模型和参数回归模型之间，其内容不仅囊括了线性部分，同时包含一些非参数部分，应该说这种模型成功的将两者的优点结合在一起。这种模型所涉及到的参数部分，主要是函数关系，也就是我们常说的对变量所呈现出来的大势走向进行有效把握和解释;而非参数部分则主要是值函数关系中不明确的那一部分，换句话就是对变量进行局部调整。因此，该模型能够很好的利用数据中所呈现出来的信息，这一点是参数回归模型还有非参数归回模型所无法比拟的优势，所以说半参数模型往往拥有更强、更准确的解释能力。

从其用途上来说，这种回归模型是当前经常使用的一种统计模型。其形式为：

三、纵向数据、线性函数和光滑性函数的作用

纵向数据其优点就是可以提供许多条件，从而引起人们的高度重视。当前纵向数据例子也非常多。但从其本质上讲，纵向数据其实是指对同一个个体，在不同时间以及不同地点之上，在重复观察之下所得到一种序列数据。但由于个体间都存在着一定的差别，从而导致在对纵向数据进行求方差时会出现一定偏差。在对纵向数据进行观察时，其观察值是相对独立的，因此其特点就是可以能够将截然不同两种数据和时间序列有效的结合在一起。即可以分析出来在个体上随着时间变化而发生的趋势，同时又能看出总体的变化形势。在当前很多纵向数据的研究中，不仅保留了其优点，并在此基础之上进行发展，实现了纵向数据中的局部线性拟合。这主要是人们希望可以建立输出变量和协变量以及时间效应的关系。可由于时间效应相对比较复杂，所以很难进行参数化的建模。

另外，虽然线性模型的估计已经取得大量的成果，但半参数模型估计至今为止还是空白页。线性模型的估计不仅仅是为了解决秩亏或病态的问题，还能在百病态的矩阵时，提供了处理线性、非线性及半参数模型等方法。首先，对观测条件较为接近的两个观测数据作为对照，可以削弱非参数的影响。从而将半参数模型变成线性模型，然后，按线性模型处理，得到参数的估计。而多数的情况下其线性系数将随着另一个变量而变化，但是这种线性系数随着时间的变化而变化，根本求不出在同一个模型中，所有时间段上的样本，亦很难使用一个或几个实函数来进行相关描述。在对测量数据处理时，如果将它看作为随机变量，往往只能达到估计的作用，要想在经典的线性模型中引入另一个变量的非线性函数，即模型中含有本质的非线性部分，就必须使用半参数线性模型。

另外就是指由各个部分组成的形态，研究对象是非线性系统中产生的不光滑和不可微的几何形体，对应的定量参数是维数，分形上统计模型的研究是当前国际非线性研究的重大前沿课题之一。因此，第一种途径是将非参数分量参数化的估计方法，也称之为参数化估计法，是关于半参数模型的早期工作，就是对函数空间附施加一定的限制，主要指光滑性。一些研究者认为半参数模型中的非参数分量也是非线性的，而且在大多数情形下所表现出来的往往是不光滑和不可微的。所以同样的数据，同样的检验方法，也可以使用立方光滑样条函数来研究半参数模型。

四、线性模型的泛最小二乘法与最小二乘法的抗差

(一)最小二乘法出现于18世纪末期

在当时科学研究中常常提出这样的问题：怎样从多个未知参数观测值集合中求出参数的最佳估值。尽管当时对于整体误差的范数，泛最小二乘法不如最小二乘法，但是当时使用最多的还是最小二乘法，其目的也就是为了估计参数。最小二乘法，在经过一段时间的研究和应用之后，逐步发展成为一整套比较完善的理论体系。现阶段不仅可以清楚地知道数据所服从的模型，同时在纵向数据半参数建模中，辅助以迭代加权法。这对补偿最小二乘法对非参数分量估计是非常有效，而且只要观测值很精确，那么该法对非参数分量估计更为可靠。例如在物理大地测量时，很早就使用用最小二乘配置法，并得到重力异常最佳估计值。不过在使用补偿最小二乘法来研究重力异常时，我们还应在兼顾着整体误差比较小的同时，考虑参数估计量的真实性。并在比较了迭代加权偏样条的基础上，研究最小二乘法在当前使用过程中存在的一些不足。应该说，该方法只强调了整体误差要实现最小，而忽略了对参数分量估计时出现的误差。所以在实际操作过程中，需要特别注意。

(二)半参模型在GPS定位中的应用和差分

半参模型在GPS相位观测中，其系统误差是影响高精度定位的主要因素，由于在解算之前模型存在一定误差，所以需及时观测误差中的粗差。GPS使用中，通过广播卫星来计算目标点在实际地理坐标系中具体坐标。这样就可以在操作过程中，发现并恢复整周未知数，由于观测值在卫星和观测站之间，是通过求双差来削弱或者是减少对卫星和接收机等系统误差的影响，因此难于用参数表达。但是在平差计算中，差分法虽然可以将观测方程的数目明显减少，但由于种种原因，依然无法取得令人满意的结果。但是如果选择使用半参数模型中的参数来表达系统误差，则能得到较好的效果。这主要是因为半参数模型是一种广义的线性回归模型，对于有着光滑项的半参数模型，在既定附加的条件之下，能够提供一个线性函数的估计方法，从而将测值中的粗差消除掉。

另外这种方法除了在GPS测量中使用之外，还可应用于光波测距仪以及变形监测等一些参数模型当中。在重力测量中的应用在很多情形下，尤其是数学界的理论研究，我们总是假定S是随机变量实际上，这种假设是合理的，近几年，我们对这种线性模型的研究取得了一些不错的成果，而且因其形式相对简洁，又有较高适用性，所以这种模型在诸多领域中发挥着重要作用。

通过模拟的算例及坐标变换GPS定位重力测量等实际应用，说明了该法的成功性及实用性，从理论上说明了流行的自然样条估计方法，其实质是补偿最小二乘方法的特例，在今后将会有广阔的发展空间。另外 文章 中提到的分形理论的研究对象应是非线性系统中产生的不光滑和不可微的几何形体，而且分形已经在断裂力学、地震学等中有着广泛的应用，因此应被推广使用到研究半参数模型中来，不仅能够更及时，更加准确的进行误差的识别和提取，同时可以提高参数估计的精确度，是对当前半参数模型研究的有力补充。

五、 总结

文章所讲的半参数模型包括了参数、非参数分量的估计值和观测值等内容，并且用了三次样条函数插值法得到了非参数分量的推估表达式。另外，为了解决纵向数据前提下，半参数模型的参数部分和非参数部分的估计问题，在误差为鞅差序列情形下，对半参数数据模型、渐近正态性、强相合性进行研究和分析。同时介绍了最小二乘估计法。另外初步讨论了平衡参数的选取问题，还充分说明了泛最小二乘估计方法以及有关结论。在对半参数模型的迭代法进行了相关讨论和研究的基础之上，为迭代法提供了详细的理论说明，为实际应用提供了理论依据。

参考文献

[1]胡宏昌.误差为AR(1)情形的半参数回归模型拟极大似然估计的存在性[J].湖北师范学院学报(自然科学版)，2009(03).

[2]钱伟民，李静茹.纵向污染数据半参数回归模型中的强相合估计[J].同济大学学报(自然科学版)，2009(08).

[3]樊明智，王芬玲，郭辉.纵向数据半参数回归模型的最小二乘局部线性估计[J].数理统计与管理，2009(02).

[4]崔恒建，王强.变系数结构关系EV模型的参数估计[J].北京师范大学学报(自然科学版).2005(06).

[5]钱伟民，柴根象.纵向数据混合效应模型的统计分析[J].数学年刊A辑(中文版).2009(04)

[6]孙孝前，尤进红.纵向数据半参数建模中的迭代加权偏样条最小二乘估计[J].中国科学(A辑：数学)，2009(05).

[7]张三国，陈希孺.EV多项式模型的估计[J].中国科学(A辑)，2009(10).

[8]任哲，陈明华.污染数据回归分析中参数的最小一乘估计[J].应用概率统计，2009(03).

[9]张三国，陈希孺.有重复观测时EV模型修正极大似然估计的相合性[J].中国科学(A辑).2009(06).

[10]崔恒建，李勇，秦怀振.非线性半参数EV四归模型的估计理论[J].科学通报，2009(23).

[11]罗中明.响应变量随机缺失下变系数模型的统计推断[D].中南大学，2011.

[12]刘超男.两参数指数威布尔分布的参数Bayes估计及可靠性分析[D].中南大学，2008.

[13]郭艳.湖南省税收收入预测模型及其实证检验与经济分析[D].中南大学，2009.

[14]桑红芳.几类分布的参数估计的损失函数和风险函数的Bayes推断[D].中南大学，2009.

[15]朱琳.服从几类可靠性分布的无失效数据的bayes分析[D].中南大学，2009.

[16]黄芙蓉.指数族非线性模型和具有AR(1)误差线性模型的统计分析[D].南京理工大学，2009.

猜你喜欢：

1. 统计学分析论文

2. 统计方面论文优秀范文参考

3. 统计优秀论文范文

4. 统计学的论文参考范例

人们把客观存在的事物以数据的形式存储到计算机中，经历了对现实生活中事物特性的认识、概念化到计算机数据库里的具体表示的逐级抽象过程，即现实世界－概念世界－机器世界三个领域。有时也将概念世界称为信息世界；将机器世界称为存储或数据世界。 一、三个世界 1、现实世界 人们管理的对象存于现实世界中。现实世界的事物及事物之间存在着联系，这种联系是客观存在的，是由事物本身的性质决定的。例如学校的教学系统中有教师、学生、课程，教师为学生授课，学生选修课程并取得成绩。 2、概念世界 概念世界是现实世界在人们头脑中的反映，是对客观事物及其联系的一种抽象描述，从而产生概念模型。概念模型是现实世界到机器世界必然经过的中间层次。涉及到下面几个术语： 实体：我们把客观存在并且可以相互区别的事物称为实体。实体可以是实际事物，也可以是抽象事件。如一个职工、一场比赛等。 实体集：同一类实体的集合称为实体集。如全体职工。注意区分"型"与"值"的概念。如每个职工是职工实体"型"的一个具体"值"。 属性：描述实体的特性称为属性。如职工的职工号，姓名，性别，出生日期，职称等。 关键字：如果某个属性或属性组合的值能唯一地标识出实体集中的每一个实体，可以选作关键字。用作标识的关键字，也称为码。如"职工号"就可作为关键字。 联系：实体集之间的对应关系称为联系，它反映现实世界事物之间的相互关联。联系分为两种，一种是实体内部各属性之间的联系。另一种是实体之间的联系。 3、机器世界 存入计算机系统里的数据是将概念世界中的事物数据化的结果。为了准确地反映事物本身及事物之间的各种联系，数据库中的数据必须有一定的结构，这种结构用数据模型来表示。数据模型将概念世界中的实体，及实体间的联系进一步抽象成便于计算机处理的方式。 数据模型应满足三方面要求：一是能比较真实地模拟现实世界；二是容易为人所理解；三是便于在计算机上实现。数据结构、数据操作和完整性约束是构成数据模型的三要素。数据模型主要包括网状模型、层次模型、关系模型等，它是按计算机系统的观点对数据建模，用于DBMS的实现。 层次模型 若用图来表示，层次模型是一棵倒立的树。在数据库中，满足以下条件的数据模型称为层次模型： ① 有且仅有一个结点无父结点，这个结点称为根结点； ② 其他结点有且仅有一个父结点。 根据层次模型的定义可以看到，这是一个典型的树型结构。结点层次从根开始定义，根为第一层，根的子结点为第二层，根为其子结点的父结点，同一父结点的子结点称为兄弟结点，没有子结点的结点称为叶结点。 网状模型 在现实世界中，事物之间的联系更多的是非层次关系的，用层次模型表示非树型结构是很不直接的，网状模型则可以克服这一弊病。网状模型是一个网络。在数据库中，满足以下两个条件的数据模型称为网状模型。 ① 允许一个以上的结点无父结点； ② 一个结点可以有多于一个的父结点。 从以上定义看出，网状模型构成了比层次结构复杂的网状结构。 关系模型 在关系模型中，数据的逻辑结构是一张二维表。 在数据库中，满足下列条件的二维表称为关系模型： ① 每一列中的分量是类型相同的数据； ② 列的顺序可以是任意的； ③ 行的顺序可以是任意的； ④ 表中的分量是不可再分割的最小数据项，即表中不允许有子表； ⑤ 表中的任意两行不能完全相同。 个人版权，请勿复制

数学建模研究性学习论文以自己的生活为背景，用自己所学的数学知识，去解决生活当中的疑虑，然后把这这个过程分析说明清楚，就是一遍好的数学建模建模论文，北京市数学建模应用竞赛已经搞了很多届，你可以找找相关的论文，关于这方面也有好几本书书籍，比如中学数学建模教与学

一、三个世界 1、现实世界 人们管理的对象存于现实世界中。现实世界的事物及事物之间存在着联系，这种联系是客观存在的，是由事物本身的性质决定的。例如学校的教学系统中有教师、学生、课程，教师为学生授课，学生选修课程并取得成绩。 2、概念世界 概念世界是现实世界在人们头脑中的反映，是对客观事物及其联系的一种抽象描述，从而产生概念模型。概念模型是现实世界到机器世界必然经过的中间层次。涉及到下面几个术语： 实体：我们把客观存在并且可以相互区别的事物称为实体。实体可以是实际事物，也可以是抽象事件。如一个职工、一场比赛等。 实体集：同一类实体的集合称为实体集。如全体职工。注意区分"型"与"值"的概念。如每个职工是职工实体"型"的一个具体"值"。 属性：描述实体的特性称为属性。如职工的职工号，姓名，性别，出生日期，职称等。 关键字：如果某个属性或属性组合的值能唯一地标识出实体集中的每一个实体，可以选作关键字。用作标识的关键字，也称为码。如"职工号"就可作为关键字。 联系：实体集之间的对应关系称为联系，它反映现实世界事物之间的相互关联。联系分为两种，一种是实体内部各属性之间的联系。另一种是实体之间的联系。 3、机器世界 存入计算机系统里的数据是将概念世界中的事物数据化的结果。为了准确地反映事物本身及事物之间的各种联系，数据库中的数据必须有一定的结构，这种结构用数据模型来表示。数据模型将概念世界中的实体，及实体间的联系进一步抽象成便于计算机处理的方式。 数据模型应满足三方面要求：一是能比较真实地模拟现实世界；二是容易为人所理解；三是便于在计算机上实现。数据结构、数据操作和完整性约束是构成数据模型的三要素。数据模型主要包括网状模型、层次模型、关系模型等，它是按计算机系统的观点对数据建模，用于DBMS的实现。 关系数据库采用关系模型作为数据的组织方式。 关系数据库因其严格的数学理论、使用简单灵活、数据独立性强等特点，而被公认为最有前途的一种数据库管理系统。它的发展十分迅速，目前已成为占据主导地位的数据库管理系统。自20世纪80年代以来，作为商品推出的数据库管理系统几乎都是关系型的，例如，Oracle，Sybase，Informix，Visual FoxPro等。 网络数据库也叫Web数据库。促进Internet发展的因素之一就是Web技术。由静态网页技术的HTML到动态网页技术的CGI、ASP、PHP、JSP等，Web技术经历了一个重要的变革过程。Web已经不再局限于仅仅由静态网页提供信息服务，而改变为动态的网页，可提供交互式的信息查询服务，使信息数据库服务成为了可能。Web数据库就是将数据库技术与Web技术融合在一起，使数据库系统成为Web的重要有机组成部分，从而实现数据库与网络技术的无缝结合。这一结合不仅把Web与数据库的所有优势集合在了一起，而且充分利用了大量已有数据库的信息资源。图1-1是Web数据库的基本结构图，它由数据库服务器（Database Server）、中间件（Middle Ware）、Web服务器（Web Server）、浏览器（Browser）4部分组成。 Web数据库的基本结构 它的工作过程可简单地描述成：用户通过浏览器端的操作界面以交互的方式经由Web服务器来访问数据库。用户向数据库提交的信息以及数据库返回给用户的信息都是以网页的形式显示。 Internet技术与相关协议 Internet技术在Web数据库技术中扮演着重要的角色。Internet（因特网）专指全球最大的、开放的、由众多网络相互连接而成的计算机网络，并通过各种协议在计算机网络中传递信息。TCP/IP协议是Internet上使用的两个最基本的协议。因此也可以说Internet是全球范围的基于分组交换原理和TCP/IP协议的计算机网络。它将信息进行分组后，以数据包为单位进行传输。Internet在进行信息传输时，主要完成两项任务。 （1）正确地将源信息文件分割成一个个数据包，并能在目的地将源信息文件的数据包再准确地重组起来。 （2）将数据包准确地送往目的地。 TCP/IP协议的作用就是为了完成上述两项任务，规范了网络上所有计算机之间数据传递的方式与数据格式，提供了数据打包和寻址的标准方法。 1．TCP/IP协议 TCP协议（Transmission Control Protocol，传输控制协议）规定了分割数据和重组数据所要遵循的规则和要进行的操作。TCP协议能保证数据发送的正确性，如果发现数据有损失，TCP将重新发送数据。 2．IP协议 在Internet上传送数据往往都是远距离的，因此在传输过程中要通过路由器一站一站的转接来实现。路由器是一种特殊的计算机，它会检测数据包的目的地主机地址，然后决定将该数据包送往何处。IP协议（Internet Protocol，网际协议）给Internet中的每一台计算机规定了一个地址，称为IP地址。IP地址的标准是由4部分组成（例如），其中前两部分规定了当前使用网络的管理机构，第3部分规定了当前使用的网络地址，第4部分规定了当前使用的计算机地址。 Internet上提供的主要服务有E-mail、FTP、BBS、Telnet、WWW等。其中WWW（World Wide Web，万维网）由于其丰富的信息资源而成为Internet最为重要的服务。 3．HTTP协议 HTTP协议（Hypertext Transfer Protocol，超文本传输协议）应用在WWW上，其作用是完成客户端浏览器与Web服务器端之间的HTML数据传输。 Web的工作原理与工作步骤 万维网简称为Web。Web可以描述为在Internet上运行的、全球的、交互的、动态的、跨平台的、分布式的、图形化的超文本信息系统。 1．Web的工作原理 Web是伴随着Internet技术而产生的。在计算机网络中，对于提供Web服务的计算机称为Web服务器。Web采用浏览器/服务器的工作方式。每个Web服务器上都放置着大量的Web信息。Web信息的基本单位是Web页（网页），多个网页组成了一个Web节点。每个Web节点的起始页称为“主页”，且拥有一个URL地址（统一资源定位地址）。Web节点之间及网页之间都是以超文本结构（非线性的网状结构）来进行组织的。 2．Web的工作步骤 Web的工作步骤如下。 （1）用户打开客户端计算机中的浏览器软件（例如Internet Explorer）。 （2）用户输入要启动的Web主页的URL地址，浏览器将生成一个HTTP请求。 （3）浏览器连接到指定的Web服务器，并发送HTTP请求。 （4）Web服务器接到HTTP请求，根据请求的内容不同作相应的处理，再将网页以HTML文件格式发回给浏览器。 （5）浏览器将网页显示到屏幕上. 图1-2 Web的工作步骤 WWW世界中的标记语言 1．HTML语言 HTML（Hypertext Markup Language，超文本标记语言）是创建网页的计算机语言。所谓网页实际上就是一个HTML文档。文档内容由文本和HTML标记组成。HTML文档的扩展名就是.html或.htm。浏览器负责解释HTML文档中的标记，并将HTML文档显示成网页。 （1）HTML标记 HTML标记的作用是告诉浏览器网页的结构和格式。每一个标记用尖括号<>括起来。大多数标记都有一个开始标记和一个结束标记。标记不分大小写。多数标记都带有自己的属性。例如字体标记有FACE、COLOR、SIZE等属性：FACE定义字体；COLOR定义字体的颜色；SIZE定义字体的大小。 使用格式： BEIJING 。 网页中有很多文本链接和图片链接。链接，又被称为超链接，用于链接到WWW万维网中的其他网页上。在HTML文档中表示超链接的标记是，通过属性HREF指出链接的网页地址URL。 使用格式： BEIJING 。 （2）HTML程序 HTML程序必须以标记开始，以标记结束。在和标记之间主要由两部分组成：文件头和文件体。文件头用标记 来标识，文件体用标记来标识。在文件的头部通常包含整个网页的一些信息。例如标记是用来说明网页的名称；标记是用来说明网页的其他信息，如设计者姓名和版权信息等。所有在浏览器中要显示的内容称为网页的主体，必须放在标记中。下面给出的是一个空网页的HTML程序。 (在此标记中写网页的内容) （3）HTML规范 HTML规范又称为HTML标准，它总在不断地发展。每一新版本的出现，HTML都会增加新的特性和内容。有关HTML版本的详细信息请访问网站。 在不同的浏览器中，网页的显示效果可能会有所不同。每一个浏览器都使用自己独特的方式解释HTML文档中的标记，并且多数浏览器不完全支持HTML的所有特性。因为，像Microsoft和Netscape公司在HTML标准上又开发了一些特有的HTML标记和属性，称之为HTML的扩展。这些标记和属性只被他们自己的浏览器所识别，不可能被其他公司的浏览器识别。如果浏览器不能识别HTML文档中的标记，则会忽略这个标记。 （4）HTML程序的编辑环境与运行环境 HTML文档是一个普通的文本文件（ASCII），不包含任何与平台、程序有关的信息。因此HTML文档可以利用任何文本编辑器来方便地生成。要注意的是HTML文档的扩展名必须是.html或.htm。运行HTML文档可以在任何浏览器下进行，并可在浏览器上查看网页的HTML源代码。 关于HTML语言中标记的种类与使用方法将会在第5章中更详细地进行介绍。 2．可扩展标记语言（XML） HTML是Web上的通用语言，随着Internet的深入人心，WWW上的Web文件日益复杂化、多样化，人们开始感到了HTML这种固定格式的标记语言的不足。1996年W3C开始对HTML的后续语言进行研究，并于1998年正式推出了XML（Extensible Markup Language，可扩展标记语言）。在设计网页时，XML提供了比HTML更灵活的方法。 （1）XML语言的特点 XML是国际组织W3C为适应WWW的应用，将SGML （Standard Generalized Markup Language）标准进行简化形成的元标记语言。简单地说，XML是使用标记来描述内容或与内容相关的形式信息的通用语言。一个XML文档由标记和字符数据组成。 而作为元标记语言，XML不再使标记固定，允许网页的设计者定义数量不限的标记来描述内容，同时还允许设计者创建自己的使用规则。 （2）XML的DTD DTD（Document Type Definition,文档类型定义）是一组应用在XML文档中的自定义标记语言的技术规范。DTD中定义了标记的含义及关于标记的语法规则。语法规则中确定了在XML文档中使用哪些标记符，它们应该按什么次序出现，标记符之间如何 嵌套，哪些标记符有属性等等。DTD可以包含在它所描述的XML文档中，但通常它是一份单独的文档或者一系列文档。作为外部文件可通过URL链接，被不同的XML文档 共享。 XML把DTD的定义权开放，不同行业可以根据自己的实际需求定义描述内容的DTD，以适应本行业内部的信息交流和存档需要。因此，适合于不同行业、不同平台的标记语言大批涌现。 （3）XML的CSS与XSL 强调内容描述与形式描述的分离，一方面可以使XML文件的编写者更集中精力于数据本身，而不受显示方式的细节影响；另一方面允许为相同的数据定义不同的显示方式，从而适合于不同应用、不同媒体，使XML数据得到最大程度的重用。XML文档数据的显示形式是通过样式单定义的。CSS（Cascading Style Sheets）是XML使用的一种标准的级联样式单，XSL（Extensible Style Language）则是可扩展的样式语言。 由于XML允许用户创建任何所需的标记，而通用浏览器却既无法预期用户标记的意义，又无法为显示这些标记而提供规则，因此用户必须为自己创建的XML文档编写样式单，样式单可以实现共享。 浏览器对一个XML文档的处理过程是，首先去关联它所指定的样式单文件，如果该样式单是一个XSL文件，则按照规定对XML数据进行转换然后再显示，XSL本身也是基于XML语言的，可以将XML转化为HTML后再显示。如果该样式单是一个CSS文件，浏览器就会按照样式单的规定给每个标记赋予一组样式后再显示。 Web数据库访问技术 Web数据库访问技术通常是通过三层结构来实现的，如图1-3所示。目前建立与Web数据库连接访问的技术方法可归纳为CGI技术，ODBC技术和ASP、JSP、PHP 技术。 Web数据库访问的三层结构 CGI技术 CGI（Common Cateway Interface，通用网关界面）是一种Web服务器上运行的基于Web浏览器输入程序的方法，是最早的访问数据库的解决方案。CGI程序可以建立网页与数据库之间的连接，将用户的查询要求转换成数据库的查询命令，然后将查询结果通过网页返回给用户。一个CGI工作的基本原理如图1-4所示。 CGI程序需要通过一个接口才能访问数据库。这种接口多种多样，数据库系统对CGI程序提供了各种数据库接口如Perl、C/C++、VB等。为了使用各种数据库系统，CGI程序支持ODBC方式，通过ODBC接口访问数据库。 CGI工作流程 ODBC技术 ODBC（Open Database Connectivity，开放数据库互接）是一种使用SQL的应用程序接口（API）。ODBC最显著的优点就是它生成的程序与数据库系统无关，为程序员方便地编写访问各种DBMS的数据库应用程序提供了一个统一接口，使应用程序和数据库源之间完成数据交换。ODBC的内部结构为4层：应用程序层、驱动程序管理器层、驱动程序层、数据源层。它们之间的关系如图1-5所示。由于ODBC适用于不同的数据库产品，因此许多服务器扩展程序都使用了包含ODBC层的系统结构。 ODBC的内部结构 Web服务器通过ODBC数据库驱动程序向数据库系统发出SQL请求，数据库系统接收到的是标准SQL查询语句，并将执行后的查询结果再通过ODBC传回Web服务器，Web服务器将结果以HTML网页传给Web浏览器，工作原理如图1-6所示。 Web服务器通过ODBC访问数据库 由于Java语言所显示出来的编程优势赢得了众多数据库厂商的支持。在数据库处理方面，Java提供的JDBC为数据库开发应用提供了标准的应用程序编程接口。与ODBC类似，JDBC也是一种特殊的API，是用于执行SQL语句的Java应用程序接口。它规定了Java如何与数据库之间交换数据的方法。采用Java和JDBC编写的数据库应用程序具有与平台无关的特性。 ASP、JSP、PHP技术 ASP是Microsoft开发的动态网页技术，主要应用于Windows NT+IIS或 Windows 9x+PWS平台。确切地说ASP不是一种语言，而是Web服务器端的开发环境。利用ASP可以产生和运行动态的、交互的、高性能的Web服务应用程序。ASP支持多种脚本语言，除了VBScript和Pscript，也支持Perl语言，并且可以在同一ASP文件中使用多种脚本语言以发挥各种脚本语言的最大优势。但ASP默认只支持VBScript和Pscript，若要使用其他脚本语言，必须安装相应的脚本引擎。ASP支持在服务器端调用ActiveX组件ADO对象实现对数据库的操作。在具体的应用中，若脚本语言中有访问数据库的请求，可通过ODBC与后台数据库相连，并通过ADO执行访问库的操作。关于ASP的编程技术将会在第7章中详细介绍。 JSP是Sun公司推出的新一代Web开发技术。作为Java家族的一员，几乎可以运行在所有的操作系统平台和Web服务器上，因此JSP的运行平台更为广泛。目前JSP支持的脚本语言只有Java。JSP使用JDBC实现对数据库的访问。目标数据库必须有一个JDBC的驱动程序，即一个从数据库到Java的接口，该接口提供了标准的方法使Java应用程序能够连接到数据库并执行对数据库的操作。JDBC不需要在服务器上创建数据源，通过JDBC、JSP就可以实现SQL语句的执行。 PHP是Rasmus Lerdorf推出的一种跨平台的嵌入式脚本语言，可以在Windows、UNIX、Linux等流行的操作系统和IIS、Apache、Netscape等Web服务器上运行，用户更换平台时，无需变换PHP代码。PHP是通过Internet合作开发的开放源代码软件，它借用了C、Java、Perl语言的语法并结合PHP自身的特性，能够快速写出动态生成页面。PHP可以通过ODBC访问各种数据库，但主要通过函数直接访问数据库。PHP支持目前绝大多数的数据库，提供许多与各类数据库直接互连的函数，包括Sybase、Oracle、SQL Server等，其中与SQL Server数据库互连是最佳组合。 网络数据库应用系统的层次体系 当前，Internet/Intranet技术发展异常迅速，越来越多的数据库应用软件运行在Internet/Intranet环境下。在此之前，数据库应用系统的发展经历了单机结构、集中式结构、客户机/服务器（C/S）结构之后，随着Internet的普及，又出现了浏览器/服务器（B/S）结构与多层结构。在构造一个应用系统时，首先考虑的是系统的体系结构，采用哪种结构取决于系统的网络环境、应用需求等因素。 客户机/服务器结构 1．二层C/S结构 二层C/S结构是当前非常流行的数据库系统结构，在这种结构中，客户机提出请求，服务器对客户机的服务请求做出回答。它把界面和数据处理操作分开在前端（客户端）和后端（服务器端），这个主要特点使得C/S系统的工作速度主要取决于进行大量数据操作的服务器，而不是前端的硬件设备；同时也大大降低了对网络传输速度的要求，因为只须客户端把服务请求发送给数据库服务器，数据库服务器只把服务结果传回前端，如图1-7所示。 在设计时，对数据可能有如下不同的处理形式。 （1）在处理时，客户机先向服务器索取数据，然后释放数据库，即客户机发出的是文件请求，在客户机端处理数据，最后将结果送回服务器。这种处理方式的缺点很明显：所有的应用处理都在客户端完成，这就要求客户端的计算机必须有足够的能力，以便执行需要的任何程序。更为糟糕的是，由于所有的处理均在客户端完成，每次运行时都要将文件整体传送到客户端，然后才能执行。如：Student表中有30 000条记录，客户端发出命令： Select * From Student Where Sno='200101' 这条命令将要求服务器将Student表中的所有记录传送到客户端，然后在客户端执行查询，结果只用到一条记录；如果查询的记录不存在，网络传输的数据实际上是无 用的。如此大的数据传输量是不可想象的。因此，人们提出了在服务器中能够执行部分代码的客户机/服务器结构。 （2）在处理时，客户机接受用户要求，并发给服务器；在服务器端处理用户要求，最后将结果传回客户机显示或打印。这种处理方式网络通信量较小。客户机向服务器发出的是处理请求，而不是文件请求，处理请求中的代码在服务器端执行后向客户机传送处理后的结果。 这样，为了特定任务，客户机上的程序和服务器上的程序协同工作：客户机端的代码用于完成用户的输入输出及数据的检查，而服务器端的代码完成对数据库的操作。 客户机/服务器结构的另一个主要特点在于软件、硬件平台的无关性。数据库服务器上的数据库管理系统集中负责管理数据，它向客户端提供一个开放的使用环境，客户端通过数据库接口，如ODBC（开放数据库连接）和SQL语言访问数据库，也就是说，不管客户端采用什么样的硬件和软件，它只要能够通过网络和数据库接口程序连接到服务器，就可对数据库进行访问。 在客户机/服务器结构中，常把客户机称为前台，而把服务器端称为后台。前台应用程序的功能包括用户界面、接收用户数据、处理应用逻辑、向后台发出请求、同时接收后台返回的结果，最后再将返回的结果按一定的格式或方式显示给用户。而后台服务器则负责共享外部设备、存取共享数据、响应前台客户端的请求并回送结果等工作。前台的应用程序和数据一般是用户专用的，而后台的数据和代码是所有用户可以共享的。 由于数据库服务器不仅要管理共享数据，保证数据的完整性，还要执行一部分代码，完成客户端的一些处理请求，所以对用于服务器的计算机提出较高的要求。最好要采用一台专用的服务器，有较快的处理速度，有大容量的硬盘和内存，支持磁带等大容量的存储设备。 上面讲的客户机/服务器结构将应用分在了客户机、服务器两级，称其为两层客户机/ 服务器结构。总之，两层C/S结构的基本工作方式是客户程序向数据库服务器发送SQL请求，服务器返回数据或结果。 这种C/S结构有两种实现方式，一种是客户来完成表示部分和应用逻辑部分，而服务器完成数据访问部分，这种情况是以客户为中心的，适用于应用相对简单、数据访问量不是很大的情况。另一种是以服务器为中心的，把一些重要的应用逻辑部分放到服务器上，这样可充分利用服务器的计算能力，减少网络上需要传送的数据。通常以存储过程和触发器的形式出现，但存储过程都依赖于特定数据库，不同数据库之间很难移植，而三层C/S结构可以很好地解决这个问题。 注意：触发器（trigger）是数据库系统中，一个在插入、删除、修改操作之后运行的记录级事件代码。不同的事件可以对应不同的动作。通常有3种类型的触发器：INSERT触发器、DELETE触发器和UPDATE触发器。 2．三层C/S结构 由于两层结构的客户机/服务器系统本身固有的缺陷，使得它不能应用于一些大型、结构较为复杂的系统中，故出现了3层结构的客户机/服务器系统，将两层结构中服务器部分和客户端部分的应用单独划分出来，即采用“客户机—应用服务器—数据库服务器”结构（如图1-8所示）。典型的数据库应用可分为三部分：表示部分、应用逻辑（商业逻辑）部分和数据访问部分，三层结构便是对应于这三部分。 图1-8 三层C/S结构 其中，应用服务器和数据库服务器可位于同一主机，也可位于不同主机。客户机是应用的用户接口部分，负责用户与应用程序的交互，运行在客户机端的软件也称为表示层软件。应用服务器存放业务逻辑层（也称为功能层）软件，是应用逻辑处理的核心，实现具体业务。它能响应客户机请求，完成业务处理或复杂计算。若有数据库访问任务时，应用服务器层可根据客户机的要求向数据库服务器发送SQL指令。应用逻辑变得复杂或增加新的应用时，可增加新的应用服务器。数据库服务器便是用来执行功能层送来的SQL指令，完成数据的存储、访问和完整性约束等。操作完成后再通过应用服务器向客户机返回操作结果。 浏览器/服务器结构 随着Internet技术和Web技术的广泛应用，C/S结构已无法满足人们的需要。因为在典型C/S体系中，通常为客户安装前端应用程序的做法已不再现实，并且限制客户端工作环境只能基于Windows、Macintosh或UNIX等操作系统也不切实际。于是基于浏览器/服务器结构（Browser/Server）的系统应运而生。 采用B/S结构后，在客户端只需安装一个通用的浏览器即可，不再受具体操作系统和硬件的制约，实现了跨平台的应用。 基于B/S结构的典型应用通常采用三层结构：“浏览器—Web服务器—数据库服务器”，B/S模式的工作原理是：通过浏览器以超文本的形式向Web服务器提出访问数据库的请求，Web服务器接受客户请求后，激活对应的CGI程序将超文本HTML语言转化为SQL语法，将这个请求交给数据库，数据库服务器得到请求后，进行数据处理，然后将处理结果集返回给CGI程序。CGI再将结果转化为HTML，并由Web服务器转发给请求方的浏览器，如图1-9所示。 图1-9 B/S工作原理 在B/S模式中，客户端的标准配置是浏览器，如IE；业务功能处理由独立的应用服务器处理，Web服务器成为应用处理的标准配置；数据处理仍然由数据库服务器处理。 从本质上讲，B/S结构与传统的C/S结构都是以同一种请求和应答方式来执行应用的，区别主要在于：C/S是一种两层或三层结构模式，其客户端集中了大量应用软件，而B/S是一种基于超链接（HyperLink）、HTML、Java的三级或多级C/S结构，客户端仅需单一的浏览器软件，是一种全新的体系结构，解决了跨平台问题。到目前，这两种结构在不同方面都有着广泛的应用。虽然C/S结构在Internet环境下明显不如B/S结构具有优势，但它在局域网环境下仍具有优势。 Internet/Intranet信息系统的多层体系结构 多层结构应用软件与传统的两层结构应用软件相比，有可伸缩性好、可管理性强、安全性高、软件重用性好等诸多优点，如何在Internet/Intranet环境下构建应用软件体系结构就成为一个非常重要的问题，也是现今软件体系研究的一个新热点。 目前各种技术层出不穷，如最初的静态HTML页面、简单的CGI网关程序、Java Applet程序，现在的ASP等Web数据库技术，还有动态的Java在线游戏及PHP技术等。 实际上，多层的概念是由Sun公司提出来的。Sun公司提出的多层应用体系包括4层：客户层、顶端Web服务层、应用服务层和数据库层。其中顶端Web服务层是Sun公司多层体系结构中非常重要的一层，它主要起代理和缓存的作用。顶端Web服务器的作用是缓存本地各客户机经常使用的Java Applet程序和静态数据，通常被放置在客户机所在的局域网内，起到一个Java Applet主机（向Web浏览器传送Java Applet程序的计算机）和访问其他服务的代理作用。与普通代理服务器的作用相同。构建多层结构应用软件时，选用Java平台是一个很好的选择，因为它跨越各应用平台。总之，在Java平台上构建多层应用软件体系代表着今后Internet/Intranet应用的趋势。