数据挖掘技术在临床医学的应用研究
21世纪是一个高度信息化的时代,随着计算机信息技术的飞速发展及医院信息化平台建设的需要,越来越多的软件公司设计开发出各种各样的医疗管理系统来满足各个医院的需求。
【摘要】 本文首先从数据挖掘技术的基本概念出发,对临床医疗数据的特点进行分析,探讨了数据挖掘技术在临床医学领域中的应用,并对它在未来的临床医疗应用及发展提出展望。
【关键词】 数据挖掘;临床医学;医疗系统;应用
一、前言
县、市级以上综合医院,随着医院无纸化办公系统的引入,各医院对医疗信息管理系统的依赖程度越来越强烈,使用的信息管理系统越来越多,导致医院管理越来越复杂。
然而随着时间的积累,各个医院信息管理系统中存储了大量的数据资源,其中包含文字、声音、图像、视频、影像等各种医疗数据,传统的简单的数据的查询已经逐渐无法满足医院管理者的需求
。如何从大量的医疗数据中提取有利于服务临床实践和领导管理决策的数据显得尤为重要,数据挖掘技术在此方面的运用也就应允而生。因此,提高对这些信息资源的利用水平,通过更加有效的分析、整合和利用这些数据,能够更好地为患者、医务人员、科研人员及管理人员提供全面、准确和及时的决策依据,是当今医药卫生行业急需解决的问题。
二、数据挖掘技术的概念
数据挖掘(DataMining),又译为资料探勘,它是指从大量的、不完整的、模糊的各种数据中提取隐藏的、不被人发现的、但又存在有价值信息的探索过程。它是通过分析每个数据,从大量数据中寻找其规律的技术,主要有数据准备、规律寻找和规律表示3个步骤。
数据挖掘通常与计算机科学有关,并通过统计、在线分析处理、情报检索、机器学习、专家系统(依靠过去的经验法则)和模式识别等诸多方法来实现上述目标。它的基本思想是从各种数据中抽取有价值的.信息,目的是帮助决策者寻找数据间的潜在联系,从中发现被忽略的要素,而这些信息对预测和决策行为是非常有用的。
数据挖掘的步骤会随不同领域的应用而有所变化,每一种数据挖掘技术也会有各自的特性和使用步骤,针对不同问题和需求所制定的数据挖掘过程也会存在差异。此外,数据的完整程度、专业人员支持的程度等都会对建立数据挖掘过程有所影响。这些因素造成了数据挖掘在各不同领域中的运用、规划,以及流程的差异性,即使同一产业,也会因为分析技术和专业知识的涉入程度不同而不同,因此对于数据挖掘过程的系统化、标准化就显得格外重要。
三、临床医疗数据的特点
1.数据多样。临床医疗数据成千上万,包括文字、声音、图片、符号、影像、视频等,所以结构类型众多,这是它的最显著特点。由于数据探索发现比较困难,使得开发通用的医疗数据软件系统较为复杂。
2.数据量巨大。随着人们生活水平的不断提高,越来越多的人把身体健康放在首位,不定期去医院做体验,医院各种医疗设备就会产生成千上万条的医疗数据信息,最终导致医疗数据量急速增长。
3.数据表征不显著。医疗数据有文字、图形等非数值型数据,使得数据挖掘人员很难找到数据间的对应关系。不同医生的医技水平不同,在诊疗过程中诊断病人情况可能存在不确定性,导致诊断结果不完整,也就难以发掘准确信息,最终导致每天都有大量相同或相近的数据产生,造成医疗数据的大量冗余。
4.数据标准不统一。在医学界,很多药物的命名都没有统一的规范标准,例如一个简单的中药,也有很多别名,例如荷花,别名莲花、六月花神、水芝、水芸、藕花、水芙蓉、君子花、天仙花等。
5.数据安全重要性。病人在医院治疗完成后会留下各种医疗数据,很多数据都是病人的隐私,医院管理者在进行数据分析与资源共享时,要保证数据资料的安全性,以防泄露病人隐私。
四、数据挖掘技术在临床医学领域中的应用
1.在医疗诊断中的应用随着我国医院信息化平台建设的升级,各个大型医院都在进行信息化平台投资建设,逐步采用了适合自己医院的电子病历系统,并实现医院内部信息共享,当不同科室的医生在进行数据分析时,可以将不同病人的各种检验检查结果与各种病症情况对应,建立一个详细的医疗诊断数据仓库,医生可以根据这个数据仓库进行快速、准确诊断,从而有效提高医生的诊断效率。同时,还能准确记录不同病种不同年龄段病人数,方便医院管理者以后进行数据统计分析、研究。
2.在医疗保险中的应用随着国家对医疗保险政策的不断改革,我国住院病人中使用医疗保险进行报销费用的比例逐年升高,由于各种原因,医疗保障制度是城乡分离的,如何帮助医院管理者快速而准确地掌握医保病人费用及自费比例,是各医院管理的一项重要工作。利用数据挖掘技术创建医院信息系统与各类医疗保险的数据接口,建立药品、材料、诊疗项目等的对照表,制作医嘱、费用传输模块,实现各个医院医疗数据上传与下载,便于医疗保险部门和医院管理者对医保病人进行实时审核、监督管理,合理控制其医疗费用。
3.在医院管理中的应用通过对医院各种医疗数据进行采集、整理、分析与挖掘,医院可形成一份数据完整的分析报告,能为医院管理者们提供高质量的医疗数据结果,对决策医院管理、控制医疗成本、掌握医疗费用、分析经济效益、提高医疗服务质量等起到重要作用。例如,通过对病人看病等候时间、就诊情况进行分析,可以优化门诊就医流程,对医护人员配置进行相应调整,从而提高医院工作效率,更好地为病人服务。
4.在医疗科研中的应用医疗科学研究也是医院的重要工作之一,比如通过对历史病例资料的整理与分析,研究者可形成一份高质量的医疗科研论文;通过对基因工程学的学习与研究,研究者能用科学的方法有效预测未来,从而获得新品种、生产出新产品。
五、未来展望
医学,是通过科学或技术的手段处理人体的各种疾病或病变的学科,是一门特殊专业,它具有一定的特殊性和复杂性,各个医院在建设医院信息化平台时应该选择适合自己的临床医疗数据分析与挖掘工具,充分利用好数据挖掘这一关键技术,对临床医疗数据进行正确采集、分析与挖掘,尽可能大的发挥它在医学信息获取中的最大价值,从而更好地为医学事业服务,为医院工作服务,最终让更多的患者受益终身!
参考文献
[1]郭晓明,周明江.大数据分析在医疗行业的应用初探[J].中国数字医学,2015(8).
[2]刘申菊,田丹.浅谈数据挖掘的应用[J].价值工程,2010(36):95.
[3]廖亮.数据挖掘技术在医疗信息管理中的应用[J].中国信息科技,2016(6).
[4]陈琳.数据挖掘技术在医疗系统中的应用研究[J].机电技术,2016(6).
[5]洪松林,庄映辉,李堃.数据挖掘技术与工程实践[M].北京:机械工业出版社,2014.
[6]周光华,辛英,张雅洁.医疗卫生领域大数据应用探讨[J].中国卫生信息管理杂志,2013(4):296-300.
大数据挖掘在虚拟医药科研方面的思考 1.基于大数据挖掘的虚拟医药科研案例 数据挖掘发展到今天,按照时下的概念应该到了“大”数据挖掘的时代了。我们还是先从几个相关案例开始吧。 虚拟临床试验-大数据采集 我们首先来看这样一个案例。2011年06月,辉瑞制药有限公司宣布开展一项“虚拟”临床研究,该项研究是一个得到美国食品和药物管理局批准的试点项目,首字母缩写为“REMOTE”。“REMOTE”项目是在美国开展的第一项病人只需使用手机和互联网、而不用重复跑医院的临床研究,该项目的目标是要确定此类“虚拟”临床研究能否产生和传统临床研究一样的结果。而传统的临床研究要求病人住在医院附近,并且定期前往医院或诊所进行初次检查和多次后续检查。如果这一项目有效,那它可能意味着全美国的病人都能参加今后的许多医学研究。这样一来,原先的科研项目中未得到充分代表的群体将得以参加,数据收集速度将大大加快,而且成本也很可能会大幅下降,参与者退出的几率也很可能会降低不少。 从上例中,我们可以看到,利用互联网可以收集远远大于传统临床科研样本数目的超大量病人的临床数据,而且其中有些临床数据可能来自于更加便捷的可穿戴健康监测设备。如果这样的研究,在科研设计严谨、质量标准得到有效执行、各种误差得到有效控制的情况下,科研的效率和成果的可信度可以显著提高。正如辉瑞公司首席医疗官弗蕾达?刘易斯-霍尔所说的:“让更多样化的人群得以参与研究有可能会推动医学进步,并为更多的病人带来更好的疗效。” 虚拟药物临床试验-大数据挖掘 我们再来看另外一个案例。1992年,抗抑郁药物帕罗西汀(Paxil)获准上市;1996年,降胆固醇药物普拉固(Pravachol)正式开售。两种药品生产企业的研究证明:每种药物在单独服用时是有效且安全的。可是,患者要是同时服用两种药是否安全,没有人知道,甚至很少有人想过。美国斯坦福大学的研究人员应用数据挖掘技术分析了数万例患者的电子病历后,很快发现了一个出人意料的答案:同时服用两种药物的患者血糖含量较高。这对于糖尿病患者来说影响很大,过多的血糖对他们来说是一种严重的健康威胁!科学家还通过分析血糖检测结果和药物处方,来寻找隐藏的规律。 对于单个医生来说,他所经历的同时服用这两种药物的病人是很有限的,虽然其中可能有少数的糖尿病患者莫名其妙地血糖升高了,但医生很难意识到这是由于病人同时服用了Paxil和Pravachol造成的。因为这是一种掩藏在大数据中的隐含规律,如果不是有人有目的地专门研究Paxil和Pravachol联合用药的安全性的话,个体医生是很难揭示这个规律的。但是,临床药品成千上万,我们怎么可能对任意组合的两、三种药联合应用的安全性和有效性进行逐一研究呢?数据挖掘很可能是一种有效的、快速的、主动式的探索多种药联合应用问题的方法! 研究者不必再召集患者去做临床试验,那样做的话花费太大了。电子病历及其计算机应用的普及为医疗数据挖掘提供了新的机遇。科学家不再局限于通过召集志愿者来开展传统的课题研究,而是更多地从现实生活中的实验中,如日常的大量的临床案例中筛选数据并开展虚拟科研,这些并非来自计划的课题立项的实验数据保存在许多医院的医疗记录中。 类似本案例,应用数据技术使得研究人员可以找出在药物批准上市时无法预见的问题,例如一种药物可能对特定人群产生怎样的影响。另外,对医疗记录的数据挖掘不仅将为研究带来好处,还会提高医疗服务系统的效率。 虚拟药物靶标发现-知识发现 我们再看看这样的一类研究。通常新药研发的过程都比较漫长,投入巨大,风险也很高。有数据表明,新药研发的平均时间长达15年,平均耗费超过8亿美元。但是,由于药物疗效的不佳和毒副作用太高,使得许多药物的研发经常在临床阶段就失败了,造成了巨大的经济损失。作为药物研发的源头,药物靶标的发现和识别对药物的研发成功率具有举足轻重性的作用。随着生物信息技术的不断发展,以及蛋白质组学数据、化学基因组学数据的日益增长,应用数据挖掘技术结合传统生物实验技术,可为药物新靶标的发现提供新的技术手段,为靶标识别预测提供新的方法。构建药物靶标数据库,利用智能计算技术和数据挖掘技术对现有的药物靶标数据开展深入探索,以期发现新的药物靶标正是这样一类研究,我们也称之为药物靶标的知识发现。 传统的药物靶标的发现,通常大都是通过大量的、反复的生物化学实验来实现的,不仅成本高、效率低,成功率也很低,犹如瞎子摸象一样,不好掌握方向。而应用数据挖掘这一自动的、主动的、高效的探索技术,可以开展虚拟药物靶标发现,不仅大大加快了药物靶标发现的进程,而且大幅减少了生物化学实验的次数和成本,同时也提高了传统生化实验的成功率。 2. 数据挖掘在虚拟医药科研上的应用 大数据时代,医药研发面临更多的挑战和机遇,为了更好的节约研发成本,提高新药研发成功率,研发出更有竞争力的新药,可以应用数据挖掘技术开展虚拟医学科研和药物研究。数据挖掘在虚拟医药科研上的应用,可以总结为如下几个方面。 通过预测建模帮助制药公司降低研发成本提高研发效率。模型基于药物临床试验阶段之前的数据集及早期临床阶段的数据集,尽可能及时地预测临床结果。评价因素包括产品的安全性、有效性、潜在的副作用和整体的试验结果。通过预测建模可以降低医药产品公司的研发成本,在通过数据建模和分析预测药物临床结果后,可以暂缓研究次优的药物,或者停止在次优药物上的昂贵的临床试验。 通过挖掘病人数据,评估招募患者是否符合试验条件,从而加快临床试验进程,提出更有效的临床试验设计建议。例如: 通过聚类方法对患者群体进行聚类,寻找年龄、性别、病情、化验指标等方面的特征,判定是否满足试验条件,也可以根据这些特征更好的设立对照组。 分析临床试验数据和病人记录可以确定药品更多的适应症和发现副作用。在对临床试验数据和病人记录进行分析后,可以对药物进行重新定位,或者实现针对其他适应症的营销。通过关联分析等方法对试验数据进行挖掘可能会发现事先想不到一些成果,大大提高数据的利用程度。 实时或者近乎实时地收集不良反应报告可以促进药物警戒。药物警戒是上市药品的安全保障体系,对药物不良反应进行监测、评价和预防。通过聚类、关联等大数据挖掘手段分析药品不良反应的情况,用药、疾病、不良反应的表现,是否跟某种化学成分有关等。例如不良反应症状的聚类分析,化学成分与不良反应症状的关联分析等。另外在一些情况下,临床实验暗示出了一些情况但没有足够的统计数据去证明,现在基于临床试验大数据的分析可以给出证据。 针对性药物研发:通过对大型数据集(例如基因组数据)的分析发展个性化药物。这一应用考察遗传变异、对特定疾病的易感性和对特殊药物的反应的关系,然后在药物研发和用药过程中考虑个人的遗传变异因素。很多情况下,病人用同样的用药方案但是疗效却不一样,部分原因是遗传变异。针对同病种的不同的患者研发不同的用药,或者给出不同的用法。 对药物化学成分的组合和药理进行挖掘,激发研发人员的灵感。例如针对于中医药物研发,用数据挖掘手段对于中药方剂和症候进行分析研究,探讨方剂和针对症状之间的联系,从功效、归经、药性和药味等方面进行分类特征分析。 3. 虚拟药物临床试验分析系统 现在越来越多的临床科研和药物临床试验都是从日常的临床工作中生成的大数据中经过严格的条件筛选来提取数据的。正如我们在本文和中提到的案例一样,所谓虚拟药物临床试验,是以更广泛的临床数据采集,和从海量的医院电子化的病历中按照事先的设计需求经过严格的条件筛选来开展的,虽然是虚拟的方法而不是传统的方法,这种药物临床试验研究有样本代表更广泛、成本低、效率高、研究成果更丰富等优点。采用虚拟研究的方法可以完全替代某些传统的药物临床研究,也可以作为某些传统的药物临床研究的预试验或探索性研究,以使真正的药物临床研究工作多、快、好、省。我们现在来看一下虚拟药物临床试验分析系统是如何工作的。 虚拟药物研究的基本思路 1、建设药物临床试验数据仓库,充分整合和积累的临床数据和药物应用数据。 2、设计、选取药物临床试验的观察组样本与对照组样本。 3、应用数据挖掘技术探索药物对于疾病治疗的效果和产生的副作用。 4、应用统计学技术进行药物临床试验效果的推断和评价。 建立药物临床数据仓库 建设药物临床试验数据仓库有两种途径,一种是通过经典的药物临床试验设计来定制化和采集相关数据,传统的方法主要记录在纸质文档上,也有专门数据录入软件,这种方法采集的数据是按照预先设计进行的,直接形成药物临床试验的专用数据,但通常样本数据量不会太大;另外一种是将医院大量的、历史的临床用药数据进行抽取、变换、装载,然后充分整合积累的其他临床数据和药物应用数据,形成药物临床试验数据源,为生成药物临床试验数据提供支撑,这样的样本数据量可能很大,我们后面演示的方法就是采用种数据进行“虚拟”样本筛选和分析的。 药物临床试验样本设计 药物临床试验样本根据药物研究的需要可以有很多设计,例如单因素单水平设计,单因素两水平设计,单因素多水平设计,配对设计设计,区组设计设计,重复测量设计等。我们这里以两因素区组设计为例来介绍一下样本筛选。本例仅以方法演示为目的,不考虑严格的医学专业意义。 本研究的疾病为动脉硬化心脏病,处理因素为药物应用,共有三种药物,分别为倍他乐克、诺和灵、硝酸异山梨脂。区组因素为年龄,分了三个年龄段。观察指标为血钠。我们科研设计按照“三要素、四原则”进行数据筛选。所谓“三要素”是研究人群,处理因素和观察对象。所谓四原则是指随机、对照、重复、均衡等原则。按照如下图一的输入条件,可以将数据集筛选出来,然后再用统计分析工具进行统计分析。 药物临床数据挖掘 应用数据挖掘技术不仅可以提高药物临床数据的利用程度,而且可以探索和发现药物临床应用中的新的积极作用和新的消极作用。利用多种数据挖掘方法分析临床试验数据和病人的电子化数据,可以确定药物更多的适应症和发现未知的副作用。在对临床试验数据和病人记录进行挖掘分析后,可以对药物进行重新定位,或者实现针对其他适应症的推广应用。通过对药物试验数据进行挖掘可能会发现意想不到一些成果,大大提高数据的应用效益。 如本例,我们使用数据挖掘的方法深入研究药物对于实验室指标的影响。探索和发现药物临床应用中的正负影响,可以通过观察病人用药前后的很多医学特征和生理指标来进行,而观察更加客观的各种实验室指标是很多药物研究的必备设计之一。下面是一个应用倍他乐克药物治疗冠心病的研究,我们应用了数据挖掘的有关技术分析了倍他乐克的血药浓度的变化对病人各个实验室指标的影响,如下图二,显示了部分实验室指标的影响结果。 以上结果需要与临床医务人员以及药物研究人员共同探讨。在刨去了各种人为因素以及业务系统客观影响因素之后,我们可以发现先前未知的倍他乐克对病人生理指标的影响,其中有些影响在医学上可能是积极的,而有些影响在医学上可能是反面的。 统计分析设计 虚拟药物临床试验分析系统的统计分析模块,包含了药物研发中常用的统计分析方法,如T检验、方差分析、相关分析、回归分析、非参数检验等,设计思路按照统计学思维,首先对数据进行验证,根据验证结果选择统计分析方法。下面我们以重复测量设计为例进行说明。 本研究的疾病为动脉硬化心脏病,处理因素为药物应用倍他乐克,观察指标为我们从数据挖掘中发现有影响的血钾指标。我们可以使用提供的模块对筛选的样本进行提取和分析,也可以从本模块直接选取所需的数据并分析。重复测量分析有两种方法,一个是Hotelling T2检验,另一个是方差分析,本系统提供了这两种统计检验方法。 部分样本数据如下图三所示: 这里,我们仅观察一下方差分析方法的结果输出,如下图四所示。 从图中我们可以看到,根据P值得到:处理因素“倍他乐克”药物对血钾起作用,测量时间对血钾有影响,处理因素和测量时间有交互影响。从而验证了我们应用数据挖掘得到的结果。 4. 数据挖掘在中药研发上的应用 以上内容,我们重点是以西药的研究应用为例来说明以数据挖掘为特色的虚拟医药研究的方法。其实,数据挖掘和虚拟药物研究还非常适合于中医中药的研究工作,因为中医学本身是一个经过几千年不断摸索、积累和验证的、知识体系庞大的、具有完整理论体系的医学科学,但我们还需要应用现代知识不断地深入理解、挖掘、提高和应用,以便与现代科学能更好地融合。而数据挖掘正是探索和解释中医学奥秘的有力工具! 国内许多单位也开展一些中医中药数据挖掘的局部性的尝试。现在,我们就将这些数据挖掘在中医中药研究中的尝试加以汇总,分列如下: 1、中药配方中的文本数据挖掘; 2、对“药理”起关键作用的“有效成分”——单体或化学成分的挖掘; 3、中药方剂配伍规律的数据挖掘与研究; 4、方剂配伍物质基础与药效如(证侯、症状)关系的数据挖掘; 5、方剂配伍的用量与方剂效用级别间的关系(量效关系及模型) 挖掘; 6、中药药性理论与中药有效成份的关系挖掘; 7、方剂中各药味间的相关性挖掘; 8、相似病症的隐含相似关系挖掘; 9、同种疾病不同药方的相似性和差异性的挖掘和研究。 10、数据挖掘用于不确切病症的分类和研究。
数据挖掘在软件工程技术中的应用毕业论文
【 摘要 】计算机技术在发展,软件也发展的越来越复杂,而系统开发工作也显得更加重要。信息技术的广泛应用会产生大量数据,通过对数据进行挖掘,分析其存在的规律,对实现数据资源的有效利用意义重大。本文就数据挖掘技术在软件工程中的应用作简要阐述。
【 关键词 】数据挖掘技术;软件工程中;应用软件技术
随着信息技术发展而快速发展,但是其可控性并不是特别强。软件在应用过程中会产生大量数据,数据作为一种宝贵的资源,有效的利用可以带来价值增值。作为软件开发行业,数据挖掘技术应用则实现了数据资源的有效利用,通过对其中规律进行研究,为软件工程提供相应指导,并且对于系统故障能够有效处理,成本评估的有效性也能够提升。
1数据挖掘技术应用存在的问题
信息数据自身存在的复杂性
软件工程所包含的数据可以分为两个类别,结构化与非结构化。在非结构化数据中软件代码发挥着重要作用。而对结构化数据产生影响的则是软件版本信息。结构与非结构化数据二者之间联系非常密切。实现数据有效利用就需要通过一定技术找出其中的规律。数据挖掘技术则刚好满足需求。利用该技术对结构与非结构化数据进行整合,提升其使用的有效性。
在评价标准方面缺乏一致性
数据挖掘技术在生活中的应用比较广泛,通过该技术应用能够更好的对实际情况进行评价,从而对结果进行优化。但是由于没有统一标准,导致了软件信息复杂。而在表述方式方面自身又存有差异性。信息获取者无法有效的对信息进行应用及对比。而信息缺乏统一标准的原因就在于评价方式不一致。
2数据挖掘技术在软件工程中的应用
数据挖掘执行记录
执行记录挖掘主要是对主程序的路径进行分析,从而发现程序代码存有的相关关系。其实质是通过对相关执行路径进行分析,并进行逆向建模,最终达到目的。作用在于验证,维护,了解程序。记录挖掘的过程通常是对被分析的系统进行初步插装,之后是记录过程,该过程在执行上一步程序后,对应用编程接口,系统,模块的状态变量记录,最后是对所得到的信息进行约简,过滤,聚类。最终得到的模型能够表达系统的特征。
漏洞检测
系统或是软件自身都会存在漏洞,漏洞自身具一定的隐蔽性,由于人的思维存在某些盲区,无法发现漏洞的存在,就需要借助于某些软件。检测漏洞的目的就在于找出软件中存在的漏洞及错误,并对其进行修复,从而保证软件质量与安全。将数据挖掘技术应用于软件检测,首先要确定测试项目,结合到用户需要,对测试内容进行规划,从而确定测试方法,并制定出具体方案。测试工作环节主要是对数据进行清理与转换,其基础在于漏洞数据收集,通过对收集与采集的信息进行清理,将与软件数据有关联同时存在缺陷的数据筛选出来,而将剩余无数据清理,对丢失项目采取相应措施补充,将其属性转换为数值表示。之后是选择适当的'模型进行训练与验证,该环节要结合到项目实际的需要选择挖掘方式,通过对不同数据结果进行分析与比较找到最适合的方式。之后则是重复应用上述方法,对软件存在的漏洞进行定位与检测。并将与之对应的数据收集于软件库,在对漏洞进行描述的基础上分类,最后将通过挖掘得到的知识应用到测试的项目中.
开源软件
对于开源软件的管理由于其自身的开放,动态与全局性,需要与传统管理软件进行区别对待,一般情况下,成熟的开源软件对于软件应用记录较为完整,参与的内容包括了错误报告,开发者活动。参与开发的工作人员会处在动态变化之中,存在动态变化的原因就在于软件的开放性。同时对于软件中动态性特征的挖掘,可达到对开源软件进行优质管理的目标。
版本控制信息
为了保证参与项目人员所共同编辑内容的统一性,就需要对系统应用进行控制。软件开发工程应用中,开发工作管理与保护都会通过版本控制系统来实施。并且其应用方式主要是对变更数据挖掘,找出不同模块及系统存在关系,并对程序中可能会存在的漏洞进行检测。此类技术的应用,使得系统后期维护成本被有效的降低,而对后期变更产生的漏洞也有一定的规避作用。
3数据挖掘在软件工程中的应用
关联法
该方法作用在于寻找数据中存在的相关联系与有趣关联。而体现的关联规则有两个明显的特征。①支持度;②信度。前者表示在某个事物集中,两个子集出现的概率是相同的。而后者则表明了某事物在事物集中出现的概率,而另一事物也会出现。
分类方法
该方法主要是应用于分类标号与离散值的操作。该方法的操作步骤是,首先要建立相应的模型,对数据进行描述,并利用模型对其进行分类。在分类方法选择方面,常用的有判定树法,贝叶斯法,支持项量机法等。判定树法应用的基础是贪心算法。
聚类方法
该方法常用的有划分方法,基于密度,模型,网格的方法与层次方法。聚类分析输入的是一组有序对,有序对中的数据分别表示了样本,相似度。其基本的应用理论是依据不同的对象数据予以应用。
4数据挖掘在软件工程中的应用
对克隆代码的数据挖掘
在软件工程中最为原始的是对克隆代码的检查测试。就其方式而言有文本对比为基础,标识符对比为基础。前者是利用系统中程序代码包含的语句进行判断。该方法在后期改进过程中主要是对字符串匹配效率进行提升。实际应用过程中是通过相关函数匹配对效率进行优化。
软件数据检索挖掘
该方法同样是软件工程中原始的挖掘需求之一。该方法在应用时主要有以下三个步骤。
①数据录入。其实质是对需要检索的信息录入,并结合到使用者需要在数据中查找使用者需要的数据。
②信息查找过程。确认了用户需要查找的信息后,系统将依据信息内容在数据库中进行查找,并分类罗列。
③信息数据导出与查看。用户可以依据自身需要将数据导出或者是在线查看。数据在导出时会形成相应的记录,客户再次进行查找时就会更加的方便与快捷。而将数据导出则需要利用到相关的软件。
应用于设计的三个阶段
软件工程有许多关于软件的资料,资料通常是存放于代码库中。数据运用可以提升工作效率。软件工程每一次循环都会产生大量的数据。基于软件工程生命周期可以将其分为分析设计,迭代的开发,维护应用三个阶段。
面向项目管理数据集的挖掘
软件开发工作到目前已经是将多学科集中于一体。如经济学,组织行为学,管理学等。对于软件开发者而言,关注的重点除过技术方面革新外,同时也需要科学规范的管理。除过对于版本控制信息挖掘外,还有人员组织关系挖掘。对于大规模的软件开发工作而言,对人力资源的有效分配与协调也是软件工作领域需要面对的问题。例如在大型系统开发过程中,往往会有许多人参与其中,人员之间需要进行沟通交流。交流方式包括了面对面沟通,文档传递,电子信息等。通过对人员之间的关系进行挖掘,有利于管理工作开展。员工群体存在的网络是社会网络。通过人员合理组织与分配,将会影响到项目进度,成本,成功的可能性。而对该方面实施研究通常采用的是模拟建模。
5结束语
软件工程技术在生活中许多领域都有广泛的应用,数据挖掘作为其中的一项技术,其重要性及作用随着技术发展而表现的越加明显。为了保证挖掘技术的可靠性与高效,与其它工程技术有一定融合性。数据挖掘在实际应用工作中体现出了巨大的经济效益,因此应该大力推进其应用的范围,并拓展其应用的深度与层次。
参考文献
[1]李红兰.试论数据挖掘技术在软件工程中的应用综述[J].电脑知识与技术,2016(34).
[2]雷蕾.关于数据挖掘技术在软件工程中的应用综述究[J].电子测试,2014(02).
[3]孙云鹏.数据挖掘技术在软件工程中的应用综述[J].中国新通信,2015(15).
186 浏览 5 回答
138 浏览 6 回答
261 浏览 6 回答
220 浏览 4 回答
109 浏览 5 回答
283 浏览 1 回答
216 浏览 3 回答
126 浏览 3 回答
111 浏览 4 回答
319 浏览 6 回答
251 浏览 3 回答
282 浏览 7 回答
129 浏览 6 回答
227 浏览 6 回答
327 浏览 2 回答