参考文献
[1] 李嶶,李宛州.基于数据仓库技术的进销存系统的设计与实现.2001(10):93-94
[2]Jiawei Han.数据挖掘概念与技术.机械工业出版社2001,8
[3]W.H.Inmon.数据仓库.机械工业出版社2000,5
[4]林字等编著.数据仓库原理与实践.北京:人民邮电出版社,2003
[5]张春阳,周继恩,刘贵全,蔡庆生.基于数据仓库的决策支持系统的构建,计算机工程.2002(4):249-252
[6]陈德军,盛翊智,陈绵云.基于数据仓库的OLAP在DSS中的应用研究.2003(1):30-31
[7]朱明,数据挖掘.合肥:中国科技大学出版社2002,5
[8] 陈京民等.数据仓库与数据挖掘技术[M].北京:电子工业出版社,2002.
[9] 毛国君等.数据挖掘原理与算法[M].北京:清华大学出版社,2005.
[10] 陈文伟等.数据挖掘技术[M].北京:北京工业大学出版社,2002.
硕士论文开题报告模板4500字
本课题来源于作者在学习和实习中了解到的两个事实,属于自拟课题。
其一,作者在2011年7月在XXX公司调研,了解到现如今各行业都面临着数据量剧增长,并由此带来业务处理速度缓慢,数据维护困难等问题。为了应对此挑战,很多企业开实施大数据发展战略。现如今的大数据发展战略可以概括为两类,一类是垂直扩展。即采用存储容量更大,处理能力更强的设备,此种方式成本较大,过去很多大公司一直采用此种方法处理大数据。但自从2004年Google发布关于GFS,MapReduce和BigTable三篇技术论文之后,云计算开始兴起,2006年Apache Hadoop项目启动。随后从2009年开始,随着云计算和大数据的发展,Hadoop作为一种优秀的数据分析、处理解决方案,开始受到许多 IT企业的关注。相较于垂直扩张所需的昂贵成本,人们更钟情于采用这种通过整合廉价计算资源的水平扩展方式。于是很多IT企业开始探索采用Hadoop框架构建自己的大数据环境。
其二,作者自2013年4月在XXX实习过程中进一步了解到,因为关系数据库在存储数据格式方面的局限,以及其Schema机制带来的扩展性上的不便,目前在大部分的大数据应用环境中都采用非结构化的数据库,如列式存储的Hbase,文档型存储的MangoDB,图数据库neo4j等。这些非结构化数据库因为可扩展性强、资源利用率高,高并发、响应速度快等优势,在大数据应用环境中得到了广泛的应用。但此种应用只解决了前端的业务处理,要真正利用大数据实现商务智能,还需要为决策支持系统和联机分析应用等提供一数据环境——数据仓库。为此,导师指导本文作者拟此题目,研究基于Hadoop框架的数据仓库解决方案。
二、研究目的和意义:
现如今,数据已经渗透到每一个行业,成为重要的生产因素。近年来,由于历史积累和和数据增长速度加快,各行业都面临着大数据的难题。事实上,大数据既是机遇又时挑战。合理、充分利用大数据,将其转变为海量、高增长率和多样化的信息资产,将使得企业具有更强的决策力、洞察发现力和流程优化等能力。因此,很多IT企业都将大数据作为其重要的发展战略,如亚马逊、FaceBook已布局大数据产业,并取得了骄人的成绩。事实上,不止谷歌、易趣网或亚马逊这样的大型互联网企业需要发展大数据,任何规模的企业都有机会从大数据中获得优势,并由此构建其未来业务分析的基础,在与同行的竞争中,取得显著的优势。
相较于大型企业,中小企业的大数据发展战略不同。大公司可以凭借雄厚的资本和技术实力,从自身环境和业务出发,开发自己的软件平台。而中小企业没有那样的技术实力,也没有那么庞大的资金投入,更倾向于选择一个普遍的、相对廉价的解决方案。本文旨在分析大数据环境下数据库的特点,结合当下流行的Hadoop框架,提出了一种适用于大数据环境的数据仓库的解决方案并实现。为中小企业在大数据环境中构建数据仓库提供参考。其具体说来,主要有以下三方面意义:
首先,目前主流的数据库如Oracle、SQL Server都有对应自己数据库平台的一整套的数据仓库解决方案,对于其他的关系型数据库如MySQL等,虽然没有对应数据库平台的数据仓库解决方案,但有很多整合的数据仓库解决方案。而对于非结构化的数据库,因其数据模型不同于关系型数据库,需要新的解决方案,本文提出的基于Hive/Pentaho的数据仓库实现方案可以为其提供一个参考。
其次,通过整合多源非结构化数据库,生成一个面向主题、集成的.数据仓库,可为大数据平台上的联机事务处理、决策支持等提供数据环境,从而有效利用数据资源辅助管理决策。
再次,大数据是一个广泛的概念,包括大数据存储、大数据计算、大数据分析等各个层次的技术细节,本文提出的“大数据环境下的数据仓库解决方案及实现“丰富了大数据应用技术的生态环境,为大数据环境下的数据分析、数据挖掘等提供支撑。
三、国内外研究现状和发展趋势的简要说明:
本文研究的主体是数据仓库,区别于传统基于关系型数据库的数据仓库,本文聚焦大数据环境下基于非结构数据库的数据仓库的构建与实现。因此,有必要从数据仓库和大数据环境下的数据库两方面进行阐述。
(一) 数据仓库国内外研究现状
自从Bill Inmon 在1990年提出“数据仓库”这一概念之后,数据仓库技术开始兴起,并给社会带来新的契机,逐渐成为一大技术热点。目前,美国30%到40%的公司已经或正在建造数据仓库。现如今随着数据模型理论的完善,数据库技术、应用开发及挖掘技术的不断进步,数据仓库技术不断发展,并在实际应用中发挥了巨大的作用。以数据仓库为基础,以联机分析处理和数据挖掘工具为手段的决策支持系统日渐成熟。与此同时,使用数据仓库所产生的巨大效益又刺激了对数据仓库技术的需求,数据仓库市场正以迅猛的势头向前发展。
我国企业信息化起步相对较晚,数据仓库技术在国内的发展还处于积累经验阶段。虽然近年来,我国大中型企业逐步认识到利用数据仓库技术的重要性,并已开始建立自己的数据仓库系统,如中国移动、中国电信、中国联通、上海证券交易所和中国石油等。但从整体上来看,我国数据仓库市场还需要进一步培育,数据仓库技术同国外还有很大差距。为此,我国许多科技工作者已开始对数据仓库相关技术进行深入研究,通过对国外技术的吸收和借鉴,在此基础上提出适合国内需求的技术方案。
(二) 非结化数据库国内外研究现状
随着数据库技术深入应用到各个领域,结构化数据库逐渐显露出一些弊端。如在生物、地理、气候等领域,研究面对的数据结构并不是传统上的关系数据结构。如果使用关系数据库对其进行存储、展示,就必须将其从本身的数据结构强行转换为关系数据结构。采用此种方式处理非结构数据,不能在整个生命周期内对非关系数据进行管理,并且数据间的关系也无法完整的表示出来。在此背景下,非结构化数据库应运而生。相较于关系数据库,非结构数据库的字段长度可变,并且每个字段的记录又可以由可重复或不可重复的子字段构成。如此,它不仅可以处理结构化数据,更能处理文本、图象、声音、影视、超媒体等非结构化数据。近年来,随着大数据兴起,非结构数据库开始广泛应用,以支持大数据处理的多种结构数据。
目前,非结构化的数据库种类繁多,按其存储数据类型分,主要包含内存数据库、列存储型、文档数据库、图数据库等。其中,常见的内存数据库有SQLite,Redis,Altibase等;列存储数据库有Hbase,Bigtable等;文档数据库有MangoDB,CouchDB,RavenDB等;图数据库有Neo4j等。近年来,我国非结构数据库也有一定发展,其中最具代表的是国信贝斯的iBASE数据库。可以预见在不久的将来,伴随这大数据的应用,非结构数据库将会得到长足的发展和广泛的应用。
四、主要研究内容和要求达到的深度:
本文研究的方向是数据仓库,并且是聚焦于大数据这一特定环境下的数据仓库建设,其主要内容包括以下几点:
1. 非结构数据库的数据仓库解决方案:本文聚焦于大数据这一特定环境下的数据仓库建设,因为大数据环境下的数据仓库建设理论文献很少,首先需要以研究关系数据库型数据仓库的解决方案为参考,然后对比关系数据库和非结构数据库的特点,最后在参考方案的基础上改进,以得到适合非结构数据库环境的数据仓库解决方案。
2. 非结构数据库和关系数据库间数据转换:非结构数据库是对关系数据库的补充,很多非结构数据库应用环境中都有关系数据库的身影。因此,非结构数据库和关系数据库间数据转换是建立非结构数据库需要解决的一个关键问题。
3. 基于非结构数据库的数据仓库构建:本文拟采用手礼网的数据,分析其具体的数据环境和需求,为其构建基于非结构数据库的数据仓库,主要包括非结构数据库的数据抽取,Hive数据库入库操作和Pentaho前台数据展现等。
五、研究工作的主要阶段、进度和完成时间:
结合研究需要和学校教务管理的安排,研究工作主要分以下四阶段完成:
第一阶段:论文提纲:20XX年6月——7月
第二阶段:论文初稿 :20XX年8月——10月
第三阶段:论文修改:20XX年11月——2014年3月
第四阶段:最终定稿:20XX年4月
六、拟采用的研究方法、手段等及采取的措施:
在论文提纲阶段,本文拟采用调查统计的方法,收集目前大数据环境下数据库应用情况,着重统计各类型数据库的应用比例。同时采用文献分析和个案研究的方法研究数据仓库构建的一般过程和对应的技术细节,并提出解决方案。在论文初稿和修改阶段,本文拟通过实证研究,依据提纲阶段在文献分析中收集到的理论,基于特定的实践环境,理论结合实践,实现某一具体数据仓库的构建。最后采用定性和定量相结合的方法,详细介绍大数据环境下数据库和数据仓库的特点,其数据仓库实现的关键问题及解决方案,以及数据仓库个例实现的详细过程。
七、可能遇见的困难、问题及拟采取的解决办法、措施:
基于本文的研究内容和特点分析,本文在研究过程中最有可能遇到三个关键问题。
其一,非结构数据库种类繁多,每类数据库又对应有不同的数据库产品,由于当下非结构数据库没有统一标准,即便同类数据库下不同产品的操作都不尽相同,难以为所有非结构数据库提出解决方案。针对此问题,本文拟紧贴大数据这一背景,选择当下大数据环境中应用最多的几类数据库的代表性产品进行实现。
其二,虽然经过二十年的发展,数据仓库的理论已日趋完善,但大数据是近几年才发展起来的技术热点,大树据环境下的数据仓库建设理论文献很少。针对此问题,本文拟参考现有的成熟的关系数据库环境下数据仓库构建方案和非结构化数据仓库理论,研究适合非结构数据库的数据仓库构建方案,请导师就方案进行指导,然后再研究具体技术细节实现方案。
其三,基于大数据环境的数据仓库实现是本文重要的组成部分,要完成此部分的工作需要企业提供数据支持,但现在数据在企业当中的保密级别都很高,一般企业都不会将自己的业务数据外传。针对此问题,本文拟采用企业非核心业务数据进行数据仓库实现。
八、大纲
本文的基本构想和思路,文章拟分为导论、大数据环境下的数据库介绍、大数据下数据仓库关键问题研究、基于XX电子商务的大数据下数据仓库实现、结论五部分。
导论
一、研究背景
二、国内外研究现状述评
三、本文的主要内容与研究思路
第一章 大数据环境下的数据库介绍
第一节 大数据对数据库的要求
第二节 关系数据库和非结构数据库比较
第三节 大数据下常用非结构数据库介绍
小结
第二章 大数据下数据仓库关键问题研究
第一节 非结构数据模型和关系数据模型的转换
第二节 基于多源非结构数据库的数据抽取
第三节 数据类型转换
第四节 数据仓库前端展示
第三章 大数据下数据仓库实现方案
第一节 大数据环境介绍
第二节 实现方案
第二节 Hive介绍
第三节 Pentaho介绍
第四章 基于XX电子商务的大数据下数据仓库实现
第一节 需求分析
第二节 模型设计
第三节 概要设计
第四节 基于Hive的数据入库操作实现
第五节 基于Pentaho的数据仓库前端展示实现
结论
也论中小企业会计信息化的建设
金盈波
通过近年来财务管理及会计工作的实践可以看出中小企业会计信息化已经成为必然。本文简述中小企业会计信息化的建设,希望以此来为中小企业财务管理人员提供一些可以借鉴的资料。
【作者单位】:临海市杜桥中学 浙江临海
【关键词】:中小企业;会计信息化;建设
【分类号】:F232;F275
【DOI】:CNKI:ISSN:1672-2949.0.2007-S4-086
【正文快照】:
中小企业是我国国民经济中占有重要地位的一个组成部分,中小企业数占全部企业数的99%,其快速发展对我国的市场经济起到了一个重要的推动作用,中小企业财务管理的水平直接影响到企业的生存及发展。1会计信息化在中小企业财务管理中的重要性会计信息化必将成为会计发展的必然趋势,现代企业所处的市场经济环境要求企业必须适应外部经济环境的复杂多变,那么企业的经营者就必须及时了解企业自身的经营活动,同时还要对外部市场环境有所了解,这就需要有充足的市场信息和财务管理信息,而会计信息化系统正是集会计核算、会计管理与会计决策支持于一体…
推荐 CAJ下载 PDF下载
CAJViewer7.0阅读器支持所有CNKI文件格式,AdobeReader仅支持PDF格式
【参考文献】 共(1)篇
中国优秀硕士学位论文全文数据库 找到 1 条
1 黄建伟; 纺织企业信息化建设研究 [D];天津工业大学; 2006年
【共引文献】 共(1)篇
中国期刊全文数据库 找到 1 条
1 杨琳; 加强财务管理 推进信息化建设 [J];财政监督; 2007年10期
【二级参考文献】 共(10)篇
中国期刊全文数据库 找到 10 条
1 王云峰,李杰,丁明磊; 从ERP成功要素透视中国企业信息化之路 [J];管理世界; 2005年08期
2 冯仁德,邵传毅,刘海英; 实施适宜的ERP系统提升企业竞争力 [J];商业研究; 2002年09期
3 周成国 ,王化成; 推进ERP财务管理 提升中国联通核心竞争力 [J];通信世界; 2005年26期
4 隋丽冰; 浅析我国企业信息化建设 [J];科技情报开发与经济; 2005年15期
5 2001年度华东地区ERP市场联合调查活动报告 [J];计算机周刊; 2001年52期
6 姜铁虎; 电子商务的脊柱 [J];计算机周刊; 2002年Z2期
7 张福海; 用ERP促进企业管理变革与创新 [J];企业管理; 2001年05期
8 黄贤勇,尹隽,王念新; 基于制造业ERP构建企业多层数据仓库 [J];企业技术开发; 2005年09期
9 《中国计算机用户》1994~1995年读者计算机应用状况调查报告 [J];中国计算机用户; 1995年S4期
10 杨德礼,王茜; 电子商务环境下ERP系统的发展与整合 [J];中国软科学; 2002年04期
【相似文献】
中国期刊全文数据库
1 树友林; 会计信息化环境与会计信息化教学改革 [J];中国会计电算化; 2004年09期; 60-62
2 海阳; 简化中小企业存储 [J];中国计算机用户; 2005年08期; 55
3 尹媛媛; 会计信息化诠释 [J];山西财政税务专科学校学报; 2005年02期; 39-41
4 李明霞; 谁为中小企业出牌?(下) [J];微电脑世界; 1998年35期; 11-13
5 李明霞; 谁为中小企业出牌?(上) [J];微电脑世界; 1998年34期; 11+13-15
6 任晓红; 试论会计信息化 [J];太原大学学报; 2005年02期; 61-63
7 树友林; 会计信息化环境与会计信息化教学改革 [J];商业经济; 2004年10期; 111-112
8 李达; 谁能抓住中小企业 [J];中国计算机用户; 2001年09期; 10-11
9 金光华; 在企业信息化环境中的会计信息化定位研究 [J];中国管理信息化; 2005年02期; 5-9
10 顺和达中小企业ERP4.8万起价 [J];每周电脑报; 2004年13期; 35
中国优秀硕士学位论文全文数据库
1 郑林欣; 浙江省中小企业设计服务模式研究 [D];浙江大学; 2005年
2 张蓉晖; 中小企业文化建设研究 [D];湖南农业大学; 2004年
3 罗永华; 中小企业供应链管理研究 [D];湖南农业大学; 2005年
4 王文英; 我国中小企业信用制度建设研究 [D];昆明理工大学; 2005年
5 邵华; 浅析法国中小企业在华经济出现的不足 [D];外交学院; 2006年
6 陈颖; 我国中小企业融资策略研究 [D];武汉理工大学; 2005年
7 彭少华; 中小企业国际化路径探析 [D];对外经济贸易大学; 2006年
8 王红; 我国中小企业差别报告问题研究 [D];武汉大学; 2005年
9 刘红缨; 江西中小企业发展战略模式研究 [D];对外经济贸易大学; 2005年
10 向伟; 中小企业人力资本定价研究 [D];四川大学; 2004年
中国博士学位论文全文数据库
1 臧毅; 黑龙江省企业信息化建设与评价研究 [D];哈尔滨工程大学; 2006年
2 李永刚; 中小企业群落衍生发展研究 [D];浙江大学; 2005年
3 刘毅; 我国高科技园区创新平台建设研究 [D];华中科技大学; 2005年
4 于春红; 我国高新技术企业融资体系研究 [D];哈尔滨工程大学; 2006年
5 向静; 中国企业资本结构之非显性筹资成本分析 [D];西南交通大学; 2005年
6 李二玲; 中国中部农区产业集群的企业网络研究 [D];河南大学; 2006年
7 潘利; 链网互动视角下中国产业集群升级研究 [D];上海社会科学院; 2007年
8 赵永刚; 新型工业化进程中我国中小企业发展战略研究 [D];华中农业大学; 2005年
写作小论文有助于提高我们的学术水平,小论文的格式有哪些要求呢?下面是由我整理的1000字小论文格式 范文 模板,欢迎大家阅读。
摘要: 随着企业规模的不断扩大,各部门所需信息既相互交错,又相对独立。这就要求各部门所用的数据库既能高度自治地 工作,又能进行信息共享。本文主要介绍多DM3数据库系统间的信息共享机制。 不同DM3数据库系统间的信息共享通过协调器实现。所有这些被协调器连接在一起的数据库系统组成了一个联邦数据库。这样既能较好地满足企业的需要,也能在保证效率的前提下,提高数据的可用性。
关键词: DBMS 复制 联邦数据库
1.引言
随着经济的发展,企业的规模越来越大,其积累的信息也越来越多。存在着各部门所处理的信息多数只对本部门有效,仅有少数信息需给 其它 某些部门共享的问题。这种信息的分布性和独立性要求对所处理的数据进行分类,使各部门既能独立地处理本部门大多数数据,也使部门间能协调处理跨部门的事务。在这种情况下,对整个企业建立一个完全的紧密耦合的分布式数据库是很困难的,也是没必要的,特别是大型企业, 这样的数据库的效率往往是很低的。
为解决这个问题,我们采用以下策略:每个部门使用一套紧密耦合的数据库系统,而在存在跨部门事务处理的数据库系统间用一个协调器联起来。这样就组成了一个横跨整个企业,各部门高度自治的联邦数据库系统。
DM2是由华中理工大学数据库多媒体技术研究所研制的数据库管理系统。它采用客户/服务器模型,客户机与服务器,服务器与服务器均通过网络互连,通过消息相互通讯,组成一个紧密耦合的分布式数据库系统。它的工作流程如下:客户机登录到一台服务器上,这台服务器便成为它的代理服务器;它接收来自客户机的消息,然后根据全局数据字典决定是自己独立完成该操作,还是与其它服务器协作处理这条消息,处理完成之后,再由代理服务器将处理结果返回给客户机。
而数据字典,作为记录数据库所有元数据的系统表,它向以上过程中提供各类有用的信息,引导它们向正确的方向运行,起着“指南针”的作用。它分为局部数据字典和全局数据字典。其中,局部数据字典用于记录一个服务器站点中数据库的控制信息,如表的模式,视图的模式及各个数据区的的文件名等信息。全局数据字典用于记录分布式数据库系统中各个服务器站点上有关全局数据的控制信息,如服务器站点信息,各服务器站点的全局表名及表内码记录,各服务器站点上的全局数据视图名及视图内码记录,用户名及口令记录,用户权限记录等信息。各个局部数据字典可以各不相同,但为了保证在各个服务器上所看到的全局数据库是一致的,因此,全局数据字典必须一致。我们所关心的是全局数据字典中的基表控制块TV_CTRL_BLOCK,它的内容主要包括:全局基表总数,每个全局基表名和其对应的表内码,该基表所在的服务器站点的编号等信息。它的功能是将各个服务器站点号与存储在其上的表名及表内码联系起来。这样,代理服务器从客户消息中找到被处理的表名,然后通过查询基表控制块TV_CTRL_BLOCK,就能知道该表存在哪个服务器上,以便将相关消息发给该服务器。
由于DM2上各个服务器站点的全局字典完全相同,任何全局表的信息都会记入全局字典。若用它来构建一个企业的数据库系统,则大量只对企业某部门有用的信息将会充斥在各部门所有服务器的全局字典中,增加了冗余。而且,当对全局表进行DDL操作时,为了确保全局字典的一致性,须对所有服务器的全局字典进行加锁。DM2对全局字典的封锁方式是采用令牌环方式,即令牌绕虚环(非实环)传输,某个服务器想对全局字典进行操作,必须等令牌到达该服务器才可以执行。每个部门建立的全局表绝大多数只对本部门有用,当对这些表进行DDL操作时,却要对所有服务器的全局字典进行封锁,通过令牌来实现对全局字典的互斥访问。假如,两个部门都要分别对本部门的内部表进行DDL操作,这应该是可以并行处理的操作,现在却只能串行执行。而且,当服务器数目庞大时,每个服务器等待令牌的时间将会很长。这严重损害了数据库的效率。
为弥补以上不足,在DM2的改进版本DM3中增加了协调器,用以联接各个独立的DM3数据库子系统,并协调各子系统间的各种关系,使各子系统既能高度自治地工作,又能进行有效的信息共享。
2.体系结构
本系统可看作多个数据库子系统被协调器联起来的,高度自治的一个联邦数据库系统。其中,每个子系统独立处理本系统内部的事务,而子系统间的信息共享由复制技术提供,副本间的一致性由协调器协调处理,处理所需的信息在初始化时写入协调器的组间数据字典中。当对某子系统中的一份数据副本进行修改时,该子系统会将修改通知协调器,由协调器对该数据的其它副本进行修改,从而保证了所有副本的一致性。
由以上可知,子系统彼此并不直接接触,而是各自都与协调器直接相联,由协调器统一管理子系统间的通信。这样,当子系统对副本进行修改时,不必关心相应的子系统处于何种状态,也不必等待回应消息,以及异常处理,所有这些都由协调器进行管理。因此,既提高了系统运行的效率,也保证了子系统的独立性。其体系结构如下图所示。
协调器主要有三大功能,首先,它对协调器和服务器进行初始化,并将有关信息存入组间字典;其次,它管理不同子系统间的通信,维护副本的一致性;最后,它在子系统出现崩溃时,进行异常管理及恢复工作。
图1 DM3多数据库系统体系结构
3.主要策略
多个DM3系统间的信息共享是通过副本实现的,副本的一致性是由协调器来维持的,是一种弱一致性。通常,多数据库系统间的一致性是通过协调器周期性地访问服务器的日志来完成的。由于副本的更新带有随机性,因此,若采用这种 方法 ,可能数据被修改多次,但其相对应的副本仍未被修改,这样就损害了数据的一致性;也可能数据并未被修改,但协调器已多次访问了服务器的日志了,这样就降低了系统的效率。
所以,本系统采用的方法是当数据被修改时,由服务器通知协调器有关信息,再由协调器通知相关系统,修改相关数据。这样,数据的修改及时(仍然是弱一致性),而协调器也不会在数据未被修改的情况下访问服务器,提高了准确性。
为了使协调器正常工作,我们对底层数据库管理系统DM2进行了修改。在基表控制块TV_CTRL_BLOCK中增加一项IsReplication。建表时,该项初始化为false;当为该表建立一个副本时,该项赋值为true。具体算法如下。
3.1初始化算法。
协调器:
从用户或应用程序接收待连接的两个系统中的服务器名,需复制的表名;
分别登录到两个系统的服务器上;
向存有待复制表的服务器发预复制消息;
等待服务器消息;
若失败,发一条失败的消息给服务器和用户或应用程序,转11);
若成功,从消息中取出待复制表的有关信息,根据这些信息,发一条建表消息给另一个系统的服务器;
等待服务器消息;
若失败,发一条失败的消息给服务器和用户或应用程序,转11);
若成功,调数据转移程序,进行数据复制;
将有关信息写入组间字典。
退出。
服务器:
当服务器收到预复制消息后,将基表控制块TV_CTRL_BLOCK中的IsReplication赋为true。同时,取出待复制表的有关信息,组成应答消息发给协调器。
当服务器收到失败的消息后,将基表控制块TV_CTRL_BLOCK中的IsReplication赋为false。
3.2维护算法。
协调器:
从组间字典读出相关信息,根据这些信息,登录到相应系统上;
等待消息;
从某系统的服务器上收到一条修改消息后,通过查找组间字典,确定该消息的目的地,然后将它转发过去;
若失败,定时重发;
转2);
服务器:
1)等待消息;
2)当收到某客户或应用程序的消息后,检查它是否是修改数据的操作(如delete,update或insert等);
若不是,转7);
若是,检查基表控制块TV_CTRL_BLOCK中的IsReplication是否为true;
若不是,转7);
若是,向协调器发修改消息;
继续执行服务器程序的其它部分。
3.3恢复算法。
若协调器所联接的系统中有一个跨掉了,则对副本的修改无法及时地反映到跨掉的系统中来。这时,需要恢复算法来进行处理。
协调器:
当协调器发现有一个系统已经崩溃后,采取以下步骤。
将与该系统相关的变量open赋值为false;
打开记时器;
等待消息;
若收到的消息是其它系统发出的修改崩溃了的系统上的副本的命令,则依次将这些消息存储起来,转3);
若收到的消息是记时器发出的时间到的消息,则向崩溃的系统发登录命令;
若登录成功,将open的值改为true;
将存储的消息依次发送过去,转9);
若登录失败,转3);
退出。
4.结论
我们曾在三个DM3数据库系统上,用两个协调器进行联接。结果,运行情况良好,各副本最终都能保证一致,且各副本间存在差异的时间间隔很短。另外,在出现异常的情况下,协调器也能正常工作。
主要参考文献:
1.周龙骧等,分布式数据库管理系统实现技术,科学出版社,1998。
2.郑振楣,于戈,郭敏,分布式数据库,科学出版社,1998。
3.王珊等,数据仓库技术与联机分析处理,科学出版社,1998。