论文的摘要是对整篇论文的归纳和总结,摘要里要表现出你的首要观念,简略归纳你的证明进程,写出你的首要定论,最佳列出你的论文的立异点,让读者对整篇论文有大致了解。我给你一篇自个写的。助人为乐。
我了解更多,选择明白这个道理
力求题目的字数要少,用词需要精选。至于多少字算是合乎要求,并无统一的'硬性'规定,一般希望一篇论文题目不要超出20个字,不过,不能由于一味追求字数少而影响题目对内容的恰当反映,在遇到两者确有矛时,宁可多用几个字也要力求表达明确。常见了繁琐题名如:'关于钢水中所含化学成分的快速分析方法的研究'。在这类题目中,像'关于'、'研究'等词汇如若舍之,并不影响表达。既是论文,总包含有研究及关于什么方面的研究,所以,上述题目便可精炼为:'钢水化学成分的快速分析法'。这样一改,字数便从原21个安减少为12个字,读起来觉得干净利落、简短明了。若简短题名不足以显示论文内容或反映出属于系列研究的性质,则可利用正、副标题的方法解决,以加副标题来补充说明特定的实验材料,方法及内容等信息,使标题成为既充实准确又不流于笼统和一般化。如?quot;(主标题)有源位错群的动力学特性--(副标题)用电子计算机模拟有源位错群的滑移特性'。
五年以内。最好是五年以内的研究的期刊或者论文,因为这是这个领域里面最新的资讯,作为你论文的佐证是最好的。实在没有办法的话用10年以内的也是可以的,当然了,如果有很早以前的,但是又是必须的也可以加上,但是我建议不要用是最好的。
我了解更多,选择明白这个道理
预测宏观,你的变量永远是不够的。预测GDP其实啥意义都没有,但是,写文章的话,就说指导生产、分析经济发展中的不足等等等。总之怎么说都行的啊。时间序列的话,就更多的往经济周期、产业结构上说。虽然话是这么说,但是滞后期是你自己选的,这经济周期怎么都容易往上靠,方便解释,一般的文章建议你往这上面说。如果是毕业论文建议你方法要改良,否则答辩时候会被喷的
力求题目的字数要少,用词需要精选。至于多少字算是合乎要求,并无统一的'硬性'规定,一般希望一篇论文题目不要超出20个字,不过,不能由于一味追求字数少而影响题目对内容的恰当反映,在遇到两者确有矛时,宁可多用几个字也要力求表达明确。常见了繁琐题名如:'关于钢水中所含化学成分的快速分析方法的研究'。在这类题目中,像'关于'、'研究'等词汇如若舍之,并不影响表达。既是论文,总包含有研究及关于什么方面的研究,所以,上述题目便可精炼为:'钢水化学成分的快速分析法'。这样一改,字数便从原21个安减少为12个字,读起来觉得干净利落、简短明了。若简短题名不足以显示论文内容或反映出属于系列研究的性质,则可利用正、副标题的方法解决,以加副标题来补充说明特定的实验材料,方法及内容等信息,使标题成为既充实准确又不流于笼统和一般化。如?quot;(主标题)有源位错群的动力学特性--(副标题)用电子计算机模拟有源位错群的滑移特性'。
我了解更多,选择明白这个道理
五年以内。最好是五年以内的研究的期刊或者论文,因为这是这个领域里面最新的资讯,作为你论文的佐证是最好的。实在没有办法的话用10年以内的也是可以的,当然了,如果有很早以前的,但是又是必须的也可以加上,但是我建议不要用是最好的。
学术堂最新整理了二十条好写的统计学毕业论文题目:排队模型在收费站排队系统中的应用2.财政收入影响因素的研究3.城市发展对二氧化碳排放的影响4.高技术产业产值影响因素的研究5.关于和谐社会统计指标的初步研究研究我国产业结构的区域差异对经济的影响7.基于单因素序列相关面板数据的实证分析8.基于空间面板数据的中国FDI统计分析9.基于排队论在杭州公交站点停车位的优化及实证分析10.基于统计方法的股票投资价值分析11.某某市2019年工业发展状况的统计分析12.近30年31省市城镇居民恩格尔系数的统计分析13.近30年31省市农村居民恩格尔系数的统计分析14.近三十年中国经济发展趋势的实证分析15.林业科技对经济的贡献率美联储量化16.宽松政策对中国经济影响的统计17.分析排队论简介及其应用18.我国财政收入总额影响因素分析19.我国城市竞争力的综合评价与实证分析20.我国城乡居民收入差距统计分析一以某某省为例
***统计方法的应用
时代金融摘 要:关键词:一、 引言一个国家的国民经济有很多因素构成, 省区经济则是我国国民经济的重要组成部分, 很多研究文献都认为中国的省区经济是宏观经济的一个相对独立的研究对象, 因此, 选取省区经济数据进行区域经济的研究, 无疑将是未来几年的研究趋势。而省区经济对我国国民经济的影响, 已从背后走到了台前, 发展较快的省区对我国国民经济的快速增长起到了很大的作用, 而发展相对较慢的省区, 其原因与解决方法也值得我们研究。本文选取华中大省湖北省进行研究, 具有一定的指导和现实意义。湖北省 2006 年 GDP 为 7497 亿元, 人均 GDP13130 元, 达到中等发达国家水平。从省域经济来说, 湖北省是一个较发达的经济实体。另一方面, 湖北省优势的地理位置和众多的人口使之对于我国整体经济的运行起到不可忽视的作用, 对于湖北省 GDP的研究和预测也就从一个侧面反映我国国民经济的走势和未来。尽管湖北省以其重要位置和经济实力在我国国民经济中占据一席之地, 但仍不可避免的面临着建国以来一再的经济波动,从最初的强大势力到如今的挣扎期, 湖北省的经济面临着发展困境。近年来, 湖北省的经济状况一再呈现再次快速发展的趋势, 但是这个趋势能够保持多久却是我们需要考虑的问题。本文选择了时间序列分析的方法进行湖北省区域经济发展的预测。时间序列预测是通过对预测目标自身时间序列的处理来研究其变化趋势的。即通过时间序列的历史数据揭示现象随时间变化的规律, 将这种规律延伸到未来, 从而对该现象的未来作出预测。二、 基本模型、 数据选择以及实证方法( 一) 基本模型ARMA 模型是一种常用的随机时序模型, 由博克斯, 詹金斯创立, 是一种精度较高的时序短期预测方法, 其基本思想是: 某些时间序列是依赖于时间 t 的一组随机变量, 构成该时序的单个序列值虽然具有不确定性, 但整个序列的变化却具有一定的规律性, 可以用相应的数学模型近似描述。通过对该数学模型的分析,能够更本质的认识时间序列的结构与特征, 达到最小方差意义下的最优预测。现实社会中, 我们常常运用 ARMA模型对经济体进行预测和研究, 得到较为满意的效果。但 ARMA模型只适用于平稳的时间序列, 对于如 GDP 等非平稳的时间序列而言, ARMA模型存在一定的缺陷, 因此我们引入一般情况下的 ARMA模型 ( ARIMA模型) 进行实证研究。事实上, ARIMA模型的实质就是差分运算与 ARMA模型的组合。 本文讨论的求和自回归移动平均模型, 简记为 ARIMA ( p, d, q) 模型,是美国统计学家 和 enkins 于 1970 年首次提出, 广泛应用于各类时间序列数据分析, 是一种预测精度相当高的短期预测方法。建立 ARIMA ( p, d, q) 模型计算复杂, 须借助计算机完成。本文介绍 ARIMA ( p, d, q) 模型的建立方法, 并利用Eviews 软件建立湖北省 GDP 变化的 ARIMA ( p, d, q) 预测模型。( 二) 数据选择1.本文所有 GDP 数据来自于由中华人民共和国统计局汇编,中国统计出版社出版的 《新中国五十五年统计数据汇编》 。2.本文的所有数据处理均使用 软件进行。( 三) 实证方法ARMA模型及 ARIMA模型都是在平稳时间序列基础上建立的, 因此时间序列的平稳性是建模的重要前提。任何非平稳时间序列只要通过适当阶数的差分运算或者是对数差分运算就可以实现平稳, 因此可以对差分后或对数差分后的序列进行 ARMA( p, q) 拟合。ARIMA ( p, d, q) 模型的具体建模步骤如下:1.平稳性检验。一般通过时间序列的散点图或折线图对序列进行初步的平稳性判断, 并采用 ADF 单位根检验来精确判断该序列的平稳性。对非平稳的时间序列, 如果存在一定的增长或下降趋势等,则需要对数据取对数或进行差分处理, 然后判断经处理后序列的平稳性。重复以上过程, 直至成为平稳序列。此时差分的次数即为ARIMA ( p, d, q) 模型中的阶数 d。为了保证信息的准确, 应注意避免过度差分。对平稳序列还需要进行纯随机性检验 ( 白噪声检验) 。白噪声序列没有分析的必要, 对于平稳的非白噪声序列则可以进行ARMA ( p, q) 模型的拟合。白噪声检验通常使用 Q 统计量对序列进行卡方检验, 可以以直观的方法直接观测得到结论。拟合。首先计算时间序列样本的自相关系数和偏自相关系的值, 根据自相关系数和偏自相关系数的性质估计自相关阶数 p 和移动平均阶数 q 的值。一般而言, 由于样本的随机性, 样本的相关系数不会呈现出理论截尾的完美情况, 本应截尾的相关系数仍会呈现出小值振荡的情况。又由于平稳时间序列通常都具有短期相性, 随着延迟阶数的增大, 相关系数都会衰减至零值附近作小值波动。根据 Barlett 和 Quenouille 的证明, 样本相关系数近似服从正态分布。一个正态分布的随机变量在任意方向上超出 2σ 的概率约为 。因此可通过自相关和偏自相关估计值序列的直方图来大致判断在 5%的显著水平下模型的自相关系数和偏自相关系数不为零的个数, 进而大致判断序列应选择的具体模型形式。同时对模型中的 p 和 q 两个参数进行多种组合选择, 从 ARMA ( p,q) 模型中选择一个拟和最好的曲线作为最后的方程结果。一般利用 AIC 准则和 SC 准则评判拟合模型的相对优劣。3.模型检验。模型检验主要是检验模型对原时间序列的拟和效果, 检验整个模型对信息的提取是否充分, 即检验残差序列是否为白噪声序列。如果拟合模型通不过检验, 即残差序列不是为白噪声序列, 那么要重新选择模型进行拟合。如残差序列是白噪声序列, 就认为拟合模型是有效的。模型的有效性检验仍然是使谭诗璟ARIMA 模型在湖北省GDP 预测中的应用—— —时间序列分析在中国区域经济增长中的实证分析本文介绍求和自回归移动平均模型 ARIMA ( p, d, q) 的建模方法及 Eviews 实现。广泛求证和搜集从 1952 年到 2006 年以来湖北省 GDP 的相关数据, 运用统计学和计量经济学原理, 从时间序列的定义出发, 结合统计软件 EVIEWS 运用 ARMA建模方法, 将 ARIMA模型应用于湖北省历年 GDP 数据的分析与预测, 得到较为满意的结果。湖北省 区域经济学 ARIMA 时间序列 GDP 预测理论探讨262008/01 总第 360 期图四 取对数后自相关与偏自相关图图三 二阶差分后自相关与偏自相关图用上述 Q 统计量对残差序列进行卡方检验。4.模型预测。根据检验和比较的结果, 使用 Eviews 软件中的forecas t 功能对模型进行预测, 得到原时间序列的将来走势。 对比预测值与实际值, 同样可以以直观的方式得到模型的准确性。三、 实证结果分析GDP 受经济基础、 人口增长、 资源、 科技、 环境等诸多因素的影响, 这些因素之间又有着错综复杂的关系, 运用结构性的因果模型分析和预测 GDP 往往比较困难。我们将历年的 GDP 作为时间序列, 得出其变化规律, 建立预测模型。本文对 1952 至 2006 年的 55 个年度国内生产总值数据进行了分析, 为了对模型的正确性进行一定程度的检验, 现用前 50 个数据参与建模, 并用后五年的数据检验拟合效果。最后进行 2007年与 2008 年的预测。( 一) 数据的平稳化分析与处理1.差分。利用 EViews 软件对原 GDP 序列进行一阶差分得到图二:对该序列采用包含常数项和趋势项的模型进行 ADF 单位根检验。结果如下:由于该序列依然非平稳性, 因此需要再次进行差分, 得到如图三所式的折线图。根据一阶差分时所得 AIC 最小值, 确定滞后阶数为 1。然后对二阶差分进行 ADF 检验:结果表明二阶差分后的序列具有平稳性, 因此 ARIMA ( p, d,q) 的差分阶数 d=2。二阶差分后的自相关与偏自相关图如下:2.对数。利用 EViews 软件, 对原数据取对数:对已经形成的对数序列进行一阶差分, 然后进行 ADF 检验:由上表可见, 现在的对数一阶差分序列是平稳的, 由 AIC 和SC 的最小值可以确定此时的滞后阶数为 2。 因为是进行了一阶差分, 因此认为 ARIMA ( p, d, q) 中 d=1。( 二) ARMA ( p, q) 模型的建立ARMA ( p, q) 模型的识别与定阶可以通过样本的自相关与偏自相关函数的观察获得。图一 1952- 2001 湖北省 GDP 序列图表 1 一阶差分的 ADF 检验ADF t- Statistic 1% level 5% level 10% level AIC 备注0 - - - - 非平稳1 - - - - - - - - - - - - - - - - 表 2 二阶差分的 ADF 检验Lag Length t- Statistic 1% level 5% level 10% level1 (Fixed) - - - - 表 3 对数一阶差分的 ADF 检验ADF t- Statistic 1% level 5% level 10% level AIC SC 备注0 - - - - - - 平稳 1 - - - - - - - - - - - - - - - - - - 图五 对数后一阶差分自相关与偏自相关图理论探讨27时代金融摘 要:关键词:使用 EViews 软件对 AR, MA的取值进行实现, 比较三种情况下方程的 AIC 值和 SC 值:表 4ARMA模型的比较由表 4 可知, 最优情况本应该在 AR ( 1) , MA ( 1) 时取得, 但AR, MA都取 1 时无法实现平稳, 舍去。对于后面两种情况进行比较, 而 P=1 时 AIC 与 SC 值都比较小, 在该种情况下方程如下:综上所述选用 ARIMA ( 1, 1, 0) 模型。( 三) 模型的检验对模型的 Q 统计量进行白噪声检验, 得出残差序列相互独立的概率很大, 故不能拒绝序列相互独立的原假设, 检验通过。模型均值及自相关系数的估计都通过显著性检验, 模型通过残差自相关检验, 可以用来预测。( 四) 模型的预测我们使用时间序列分析的方法对湖北省地方生产总值的年度数据序列建立自回归预测模型, 并利用模型对 2002 到 2006 年的数值进行预测和对照:表 5 ARIMA ( 1, 1, 0) 预测值与实际值的比较由上表可见, 该模型在短期内预测比较准确, 平均绝对误差为 , 但随着预测期的延长, 预测误差可能会出现逐渐增大的情况。下面, 我们对湖北省 2007 年与 2008 年的地方总产值进行预测:在 ARIMA模型的预测中, 湖北省的地方生产将保持增长的势头, 但 2008 年的增长率不如 2007 年, 这一点值得注意。GDP毕竟与很多因素有关, 虽然我们一致认为, 作为我国首次主办奥运的一年, 2008 将是中国经济的高涨期, 但是是否所有的地方产值都将受到奥运的好的影响呢? 也许在 2008 年全国的 GDP 也许确实将有大幅度的提高, 但这有很大一部分是奥运赛场所在地带来的经济效应, 而不是所有地方都能够享有的。正如 GDP 数据显示, 1998 年尽管全国经济依然保持了一个比较好的态势, 但湖北省的经济却因洪水遭受不小的损失。作为一个大省, 湖北省理应对自身的发展承担起更多的责任。总的来说, ARIMA模型从定量的角度反映了一定的问题, 做出了较为精确的预测, 尽管不能完全代表现实, 我们仍能以ARIMA模型为基础, 对将来的发展作出预先解决方案, 进一步提高经济发展, 减少不必要的损失。四、结语时间序列预测法是一种重要的预测方法, 其模型比较简单,对资料的要求比较单一, 在实际中有着广泛的适用性。在应用中,应根据所要解决的问题及问题的特点等方面来综合考虑并选择相对最优的模型。在实际运用中, 由于 GDP 的特殊性, ARIMA模型以自身的特点成为了 GDP 预测上佳选择, 但是预测只是估计量, 真正精确的还是真实值, 当然, ARIMA 模型作为一般情况下的 ARMA 模型, 运用了差分、取对数等等计算方法, 最终得到进行预测的时间序列, 无论是在预测上, 还是在数量经济上, 都是不小的进步, 也为将来的发展做出了很大的贡献。我们通过对湖北省地方总产值的实证分析, 拟合 ARIMA( 1, 1, 0) 模型, 并运用该模型对湖北省的经济进行了小规模的预测,得到了较为满意的拟和结果, 但湖北省 2007 年与 2008 年经济预测中出现的增长率下降的问题值得思考, 究竟是什么原因造成了这样的结果, 同时我们也需要到 2008 年再次进行比较, 以此来再次确定 ARIMA ( 1, 1, 0) 模型在湖北省地方总产值预测中所起到的作用。参考文献:【1】易丹辉 数据分析与 EViews应用 中国统计出版社【2】 Philip Hans Frances 商业和经济预测中的时间序列模型 中国人民大学出版社【3】新中国五十五年统计资料汇编 中国统计出版社【4】赵蕾 陈美英 ARIMA 模型在福建省 GDP 预测中的应用 科技和产业( 2007) 01- 0045- 04【5】 张卫国 以 ARIMA 模型估计 2003 年山东 GDP 增长速度 东岳论丛( 2004) 01- 0079- 03【6】刘盛佳 湖北省区域经济发展分析 华中师范大学学报 ( 2003) 03-0405- 06【7】王丽娜 肖冬荣 基于 ARMA 模型的经济非平稳时间序列的预测分析武汉理工大学学报 2004 年 2 月【8】陈昀 贺远琼 外商直接投资对武汉区域经济的影响分析 科技进步与对策 ( 2006) 03- 0092- 02( 作者单位: 武汉大学经济与管理学院金融工程)AR(1)MA(1) AR(1) MA(1) 备注AIC - - - 最优为 AR(1)MA(1)SC - - - Coefficient Std. Error t- Statistic (1) squared - Mean dependent var R- squared - . dependent var . of regression Akaike info criterion - resid Schwarz criterion - likelihood Durbin-Watson stat AR Roots .59年份 实际值 预测值 相对误差(%) 平均误差(%)2002 - - - - - 年度 GDP 值 增长率(%) — 表 6 ARIMA ( 1, 1, 0) 对湖北省经济的预测一、模糊数学分析方法对企业经营 ( 偿债) 能力评价的适用性影响企业经营 ( 偿债) 和盈利能力的因素或指标很多; 在分析判断时, 对事物的评价 ( 或评估) 常常会涉及多个因素或多个指标。这时就要求根据多丛因素对事物作出综合评价, 而不能只从朱晓琳 曹 娜用应用模糊数学中的隶属度评价企业经营(偿债)能力问题影响企业经营能力的许多因素都具有模糊性, 难以对其确定一个精确量值; 为了使企业经营 ( 偿债) 能力评价能够得到客观合理的结果, 有必要根据一些模糊因素来改进其评价方法, 本文根据模糊数学中隶属度的方法尝试对企业经营 ( 偿债) 能力做出一种有效的评价。隶属度及函数 选取指标构建模型 经营能力评价应用理论探讨28
我给你分享几个统计学与应用这本期刊的题目吧,你参考参考:产业集聚对江苏省制造业全要素生产率的影响研究、基于文献计量分析的企业论文发表情况评价——以宁波市安全生产协会会员为例、基于泰尔指数的城乡收入差距的分析与预测、卡方分布下FSI CUSUM和VSI CUSUM控制图的比较、新冠肺炎疫情对中国旅游业的冲击影响研究——基于修正的TGARCH-M模型
时间序列数据挖掘研究论文提纲 论文摘要: 随着计算机与信息技术的普及和大容量存储技术的发展,人们在日常事务处理和科学研究中逐渐积累了大量宝贵数据,这些数据背后蕴藏着对决策有重要参(略).如何从这些历史数据中提取需要的信息正成为数据挖掘领域(略)在现实生活中,时间是数据本身固有的因素,在数据中常常会发现时序语义问题.时序数据的出现使得有必要在数据挖掘中考虑时间因素.时序数据在现实生活中广泛存在,如金融市场、工业过程、科学试验、医疗、气象、水文、生物信(略)储规模呈现爆炸式增长.因此对时间序列数据挖掘问题进行深入研究是非常必要和富有挑战性的. 从20世纪末开始,复杂网络的研究已经渗透到生命科学、数理学科和工程学科、社会科学等众多不同的领域.对复杂网络的研究,已成为科(略)个极其重要的富有挑战性的课题.其研究热点之一是寻找复杂网络中的社团结构,事实上这个过程就是一个聚类的过程,所以研究复杂网络社团划分新算法,对于时间(略)重要意义. 本文结合时间序列数据挖掘和复杂网络理论,开展了如下的研究工作: 综述了时间序列数据挖掘和时间序列模式挖掘的研究现状,指出了研究的现实意义.介绍并分析了最具代表性的... With the popularity of computer and information technology,and the great(omitted)nt of storage technique of high capacity,,a great amount of data is accumulated in daily work and in s(omitted) potentially useful knowledge is hided behind how to manage and use(omitted)e series data efficiently and extract useful information is an important problem in dat(omitted)ime is the inherent attribute of data,so we should take time into account when mining association serie... 目录:摘要 第4-5页 Abstract 第5页 1 绪论 第8-16页 ·选题背景 第8-9页 ·国内外研究现状 第9-14页 ·数据挖掘研究现状 第9-11页 ·时间序列数据挖掘的研究现状 第11-12页 ·序列模式挖掘研究现状 第12页 ·频繁趋势挖掘的研究与发展 第12-13页 ·聚类问题的研究现状 第13-14页 ·本文主要研究内容 第14-16页 2 研究背景 第16-24页 ·数据挖掘与知识发现 第16页 ·数据挖掘的起源 第16-17页 ·引发数据挖掘的挑战 第16-17页 ·相关领域对数据挖掘的`推动 第17页 ·数据挖掘的过程 第17-18页 ·数据挖掘的分类 第18-20页 ·数据挖掘的方法 第20-22页 ·数据挖掘系统 第22页 ·数据挖掘软件的评价 第22-24页 3 时间序列数据挖掘 第24-36页 ·时间序列 第24-25页 ·时间序列概念 第24页 ·时间序列分类 第24-25页 ·时间序列数据挖掘研究 第25-28页 ·序列模式挖掘 第28-34页 ·问题描述 第28页 ·序列模式挖掘 第28-29页 ·序列模式挖掘算法分析与比较 第29-34页 ·时间序列聚类分析 第34-36页 ·复杂网络社团划分方法 第34页 ·时间序列聚类与复杂网络社团结构划分 第34-36页 4 模糊频繁模式挖掘研究 第36-44页 ·趋势分析 第36页
我了解更多,选择明白这个道理
时间序列好发论文。根据查询相关公开信息资料显示,从系统论的角度看,时间序列就是某一系统在不同时间(地点、条件等)的响应,围绕时间序列预测、分类、异常检测、表示学习以及在医疗、生物、交通、音乐、金融等方向的应用。
动态图上的异常检测任务包括:发现异常的对象、关系、时点。动态图上的异常检测与静态图上的异常检测不同的地方在于:
本文首先将异常类型分为:anomalous vertices, edges, subgraphs, and events(or change),将使用的方法分为:community detection, MDL(minimum description length) and compression, decompression, distance, probabilistic, 按每种方法使用的异常类型进行了文献学分类。各方法的主要参考文献见表1:
本文假设不同时点的节点和边都有唯一标签从而不会混淆,定义 为图序列,其中 为总时间步, , 为节点集, 为边集, 时称 为图流。本文的主要记号见表2:
给定 ,节点集 ,打分函数 ,定义异常节点集为 ,使得对于 , ,其中 为得分 的摘要式统计。
一个典型的异常节点如图1,其可由基于社区检测的方法识别,即: 其中 为节点所属的社会划分, 为异或操作。
给定 ,边集 ,打分函数 ,定义异常边集为 ,使得对于 , ,其中 为得分 的摘要式统计。
一个典型的异常边如图2,可令 ,其中 为时间步 时 的权重,可以为边的概率。
给定 ,子图集 ,打分函数 ,定义异常集为 ,使得对于 , ,其中 为得分 的摘要式统计。
两种典型的异常子图如图3,其中(a)为图的收缩,(b)为图的分裂。图的收缩可根据子图中的的数量衡量,即 ,图的分裂可由不同时间点社区的数量衡量。
与异常节点、边、子图检测不同,异常事件或异常突变检测检验的是时点。
给定 ,打分函数 ,若时点 满足: , ,则称时点 为一个事件。
给定 ,打分函数 ,若时点 满足: , ,则称时点 为一个突变。
通常的异常检测都使用两步法:第一步,基于特征的图表示;第二,基于机器学习的异常检测。
基于社区检测的方法关注的是社区和关联节点的演化过程,特征向量的生成亦基于图中的社区结构。不同社区检测方法的区别在于:(1)社区结构的领域,如社区内的连接性.单个节点在每一步所属的社区;(2)社区结构的定义,如基于概率的软社区定义.硬社区定义。基于社区检测的方法可用于异常定点、子图、突变的检测。
基于软社区匹配并单独考察每一个社区,我们可以在连续时间步内计算每个节点归属的平均变化,如果某个节点归属的平均变化显著异于其他节点,则称其为演化社区异常点。
节点社区归属的变化可以构造一个时间模式,称为软时序模式。一些文献使用了最小描述长度(MDL)结合非负矩阵分解的方法来自动检测节点角色及构造转移模型。多数文献通过抽取图中不同节点的共同模式,并比较每个节点与共同模式之间的差异来定义异常节点。部分文献使用了交替迭代优化替代常用的两步法。部分文献使用了corenet的概念,该概念不同于单纯使用density,modularity,hop-distance等概念,而是使用了节点间的加权路径,即一个节点的corenet包含该节点与权重大于给定阈值的两跳邻居。假设两个强连接的节点通常属于同一社区,则如果移除一个节点的两个邻居,一个邻域具有较高的边权重,另一个具有较低的边权重,则移除较高权重邻居的影响应更大,在每一步,每个节点首先被赋予一个异常得分,该得分衡量了其corenet的变化,异常得分较高的 各节点将被视为异常节点。
文献【69】定义了六种基于社区的异常:shrink, grow, merge, split, born, and vanish。其使用图和社区代表(representatives)进行比较以减少计算量,图代表为出现在t时刻,同时还出现在t-1、t+1或t+1与t-1时刻的节点集,社区代表是出现在其他社区最少的定点集合,基于社区代表和图代表,基于规则,判断社区是否落在六种异常中。
文献【73】定义了一种基于社区的异常:comet,周期性出现或消失的社区,演化图可表示为一个张量,然后基于低秩张量分解和MDL原则进行comet检测。
文献【3】基于多种信息源构造时序复网络,识别跨时间和网络的稳定社区结构。行为相似的网络可以用聚类或前验知识分组,如何一个社区结构在组内跨时间步稳定,但在组外没有对应社区,则该社区即为异常,如何两个社区共享一定比例的定点则称为对应。
社交网络可以根据特定时间窗口内的发文量定义事件,一个经历共同事件的组即构成一个异常子图。
通过划分图流为一致的分割来检测,分割是依据划分的相似性。
通过将最新图的顶点分区与当前增长分割中的图的分区进行比较,可以在线找到这些分割。【67】基于可返回随机的相关矩阵和modularity最大化来进行定点划分,当新图的划分与当前分割的划分有很大不同时,一个新段开始,并将新图的时间点输出为检测到的突变。两个划分的相似度使用Jaccard系数定义。GraphScope思路类似,但基于MDL来指导划分和分割。
基于MDL原则和基于该原则的压缩技术利用数据中的模式和规律性实现紧凑的图表示,其主要通过将图的邻接矩阵表示为一个二进制串,如果矩阵的行和列可以重新排列使矩阵的二进制字符串表示的熵最小化,那么压缩损失(也称为编码损失)就会最小化。数据指向的特征都来自于图或其特定子结构的编码代价;因此,异常被定义为抑制可压缩性的图或子结构(如边)
对于一条边和对应子图,如果包含该边的编码损失比不包含该边的编码损失高,则称该边为异常边。
【74】使用了一种两步交替迭代法进行节点的自动划分,当节点划分的熵收敛时,根据包含和不包含该边的编码损失,该方法也给出了边的异常度得分。
突变检测的主要思路是:连续时间步间的图是相似的,因而可以分为一组,从而降低压缩比。压缩比的上升表明新一个时间步的图与已有的图差异明显,因此是一个突变。
该方法将图集合表示为一个tensor,在该tensor上进行矩阵分解或降维,基于分解或降维后的图发现其模式和规律性,该方法可以融合更多属性信息,最常用的方法是SVD和PARAFAC(广义SVD)。
矩阵分解可用于计算每个节点的活跃(activity)向量,如果某个节点的活跃向量在连续时间步间变化明显,则称为异常节点。
【87】首先抽取每个节点的边相关矩阵 ,即该节点的每个邻域都有一行一列,对于节点 的矩阵中的一个entry 代表了边 和 间加权频率的相关性,加权频率由衰减函数获得,时间越近权重越高。M的最大特征值和对应特征向量即顶点的活跃向量的summary及边的相关性。通过寻找这些值的变化而形成的时间序列用于计算每个时间步长中每个顶点的分数,得分高于阈值的顶点将被输出为异常。
基于分解的异常事件检测有两种方法:(1)先基于分解方法来近似原始数据,然后以重建损失作为近似优劣的指标。如果某个子张量、切片或元素的重建损失很高,则即可以视其与周围数据不同特征不同,将其标记为异常事件、子图或节点。(2)跟踪奇异值和向量,以及特征值和特征向量,以检测异常顶点的显著变化。
为解决 intermediate blowup 问题(即计算中输入和输出张量超过内存限制),【81】提出了momery-efficient tucker(MET)分解方法,该方法源于Tucker分解,Tucker分解将高阶tensor用一个core tensor和每个mode(维度)矩阵表示。【80】使用了Compact Matrix Decomposition(CMD),其可以用来计算给定矩阵的稀疏低秩矩阵。使用CMD对图流中的每个邻接矩阵进行分解,可得到重建值的时间序列,基于重建值序列可进程事件检测,典型应用有COLIBRI, PARCUBE,其中后者在斑点(spotting)异常中的表现更高效。
【84】使用了随机图模型进行基于概率模型的检测,其将真实图邻接矩阵和期望图的邻接矩阵间的差异构造为残差矩阵,对残差矩阵执行SVD,再使用线性Ramp滤波器,基于top奇异值即可进行异常时间窗口检测,通过检查正确的奇异向量来确定相应的顶点。
除以上方法,我们还可以基于分解空间的显著变化来识别事件。【77】通过对数据执行PCA,计算的特征向量可以分为正常和异常两个集合,方法是检验数据中的值映射到特征向量。在每个时间步,根据特征值对特征向量进程降序排列,第一个特征向量则包含一个在其余值的3个标准差之外的投影点,此后的每个特征向量,都构成了异常集。第二步即是将数据映射到正常和异常子空间,一旦完成了这些操作,当从上一个时间步长到当前时间步异常成分的修改超过一个阈值时,即将其视为一个事件。【83】扩展了该方法,提出了联合稀疏PCA和图引导的联合稀疏PCA来定位异常和识别对应的顶点。通过为异常集使用稀疏的成分集,可以更容易识别负责的顶点。顶点根据它们在异常子空间中对应行的值得到一个异常分数,由于异常分量是稀疏的,不异常的顶点得分为0。
图的活跃向量 为主成分,左奇异向量对应最大奇异值,奇异值和奇异向量通过对加权邻接矩阵进行SVD得到。当活跃向量大幅异于“正常活跃"向量时,即定义该时点为突变点,”正常活跃“向量由前序向量得到。
正常活跃向量 ,它是对最后W时间步中活动向量形成的矩阵进行SVD得到的左奇异向量。每个时点都定义一个得分 ,其代表了当前活跃向量与正常向量的差异。异常可以使用动态阈值方案在线发现,其中得分高于阈值的时间点被输出为变化。通过计算正常向量和活动向量之间的变化比率来找到负责的顶点,与变化最大的索引所对应的顶点被标记为异常,类似的方法也可以用于节点-节点相关矩阵的活跃向量,或基于邻居相似度的节点-节点相关矩阵。
基于距离的异常检测算法的不同点在于选择用于提取和比较距离度量,以及它们用于确定异常值和相应图的方法。
如果一些边的属性演化异于正常演化,则该边就是一个异常边。
边之间的权重使用衰减函数定义,在每个时间步长中,根据相似度得分的变化之和计算每条边的异常值得分,使用阈值或简单的 作为异常值标准。
将网络视为边的流,意味着网络没有固定的拓扑,一个边的频率和持久性可以用来作为其新颖性的指标,【48】定义了集合系统不一致性指标来度量频率和持久性,当一条边到达时,计算其差异,并与活动边集的平均不一致性值进行比较,如果边的加权不一致性大于平均不一致性的阈值水平,则声明该边为异常边,基于异常边,可以进一步识别其他异常图元素(如顶点,边,子图)。
具有许多“异常”边的子图即是异常的子图。
【52】将边的权重视为异常得分,每个时间步长上的每条边都有它自己的异常分数,给定了该边权值在所有图序列的分布,该分数表示在该特定的边上看到该特定权值的概率函数。或者,为网络中的边分配异常值分数的现有方法的输出可以用作为该方法的输入。后一种方法允许应用于任何能够为边分配异常值分数的网络,一旦完成每条边的异常打分,即可发现显著异常的区域(SARs),即一个窗口内的固定子图,其类似于HDSs。【112】提出了一种迭代算法,该算法首先固定子图发现最优时间窗口,然后固定时间窗口发现最优子图。【97】拓展了该方法,允许子图渐变,即在相邻时间步间增加或移除顶点。
定义函数 为测度图距离的函数,将其应用于连续图序列,即得到距离序列,基于该距离序列应用一些启发式算法(如基于移动平均阈值的 取值)即可得到异常事件。
称每个顶点及其egonet的特征为局部特征,整张图的特征为全局特征。每个顶点的局部特征可聚合为一个向量,基于该向量的各阶矩可构造signature向量,利用signature向量间的Canberra距离(归一化的曼哈顿距离)可构造图之间的距离函数【93】。【92】利用全局特征,定义了一种基于dK-2序列的距离测度,将高于阈值的特征视为异常点。
【96】使用了顶点亲和度(即一个顶点对另一个顶点的影响,可以用于快速信念传播)得分作为signature向量,其基于连续时间步技术顶点亲和度,基于马氏距离度量两个图的相似度,亲和度得分的变化反应并适应变化的影响水平,例如桥边的移除比正常边移除的得分更高。利用单个移动范围的质量控制,可以对相似度得分的时间序列设置一个移动阈值,如指数移动平均加权。
作为特征相似度的补充,我们也可以比较两个图的结构差异来度量突变的大小,这类方法致力于发现定义距离的函数而非发现特征向量。【88】计算了异常网络的10种距离函数,使用ARMA模型构造特征值的正常模型,然后基于正常模型计算时点的残差,残差超过给定阈值的时间即可标记为异常。10种距离函数中,基于最大共有子图的方法表现最好。【90】使用了五中得分函数(顶点/边重叠,顶点排序,向量相似度,序列相似度,signature相似度)来检测三种异常(子图缺失,顶点缺失,连通性变化),表现最好的方案是抽取每个顶点和边的特征构造signature向量,使用SimHash定义距离。
我们还可以通过计算每个图的稳健性序列来检测事件,稳健性序列是图连通性的测度,具有高稳健性的图即使在去除一些顶点或边的情况下,也能保持相同的一般结构和连通性,事件检测即发现稳健性值异常变化的时点【95】。【89】使用的是图半径的变体作为稳健性指标,图半径的定义是基于所有顶点的平均离心度,而非常用的最大离心度。
基于概率理论、分布、扫描统计学等方法可以构造“正常”样本的模型,偏离该模型的样本即视为异常,这类方法的主要区别在于构造方法、建模对象、离群值定义。
主要有两种方法:一,构造扫描统计时间序列并检测离均值若干标准差的点;二,顶点分类。
扫描统计常称为滑动窗口分析,其在数据的特征区域中发现测度统计量的局部最小或最大值。对某个特定图,扫描统计量可以是图不变特征的最大值,如边的数量。
【8】使用了一个适应测度统计量的变量,即每个节点的0-2度邻居数,然后对每个顶点的局部统计量使用近期值的均值和标准差进行标准化,图的扫描统计量即最大的标准化局部统计量。标准化可以解释每个顶点的历史信息,代表每个顶点的统计量只与自己的历史信息有关而与其他顶点无关。这保证测度的最大变化与变化的绝对量无关而与比例有关。基于扫描统计量标准化时间序列,将序列均值的五个标准差作为异常值。最负责的顶点被确定为为整个图的扫描统计值所选择的顶点。
类似于使用邻居进行扫描统计,我们还可以用Markov随机场(MRF)来发现节点的状态,并通过信念传播算法推断最大似然分配,其中,每个顶点标签取决于其邻居节点。【99】通过发现二部核来检测异常点(即犯),二部核定义为犯与从犯间的交互。利用边的插入或删除只影响局部子图这一事实,它在添加新边时逐步更新模型。在传播矩阵中,一个顶点可以处于三种状态之一:欺诈者、共犯者或诚实者。
边异常检测通常使用计数过程建模,统计上显著异于该模型的边标记为异常边。
【50】用贝叶斯离散时间计数过程来建模顶点间的通信次数(边权重),并根据新图更新模型。基于学习到的计数的分布,对新观测的边进行预测 值计算,基于 值标记异常顶点对。
首先用固定的子图,多重图,累积图来构造预期行为的模型,对模型的偏离可作为子图异常检测的依据。
【104】结合扫描统计量和隐马尔可夫模型(HMM)建模边行为,其使用的局部扫描统计量是基于两种图形状:k-path图和星型图,其将滑动窗口的扫描统计数据与其过去的值进行比较,并使用在线阈值系统识别局部异常,局部异常是所有统计上显著的子图(代表k个路径或恒星)的并集。
另一个建模动态图的方法是基于多重图,其中平行边对应于两个连续时间步顶点间的通信,初始的多重图可分解为多个针对每个时间窗口的叠套子图(TSG),TSG满足两个条件:(1)对于任何两个有共同点的边,首先开始通信的边最后完成通信;(2)存在一个根顶点r,它没有传入的边,并且有一条到TSG中每个顶点的路径。出现概率低的TSG视为异常子图。【102】
累积图即为包含直到当前时点的所有边的图,边权重依据衰减函数定义,通过识别“持久模式”来定义子图的正常行为。该持久模型识别模型如下:首先构造一种图,该图每个边根据时间来加权,然后基于该图迭代抽取最重连接成分来发现。随着累积图的发展,提取的子图将被监控,并将其当前活动与基于最近行为的预期活动进行比较来进行子图异常检测。【101】
事件检测可以基于偏离图似然模型或特征值分布的偏差来进行。
【103】提出了一种新的蓄水池抽样方法来抽取图流的结构摘要,这种在线抽样方法维持多个网络划分以构造统计上显著的摘要,当一个新图进入图流,每个边都根据不同分区的边生成模型计算出一种似然性,然后以这些似然性的几何均值作为全局图似然性。
【98】使用了类似的边生成模型,每个边 的概率都存储在矩阵 中,概率基于期望最大化估计,基于所有收发对的分布,然后为每个收发对给出潜在得分,基于所有边似然得分的均值即得到每个图的得分。
【100】计算了特征值和压缩特征等式的分布(而非计算收发对的分布),基于每个顶点都存在一个顶点局部特征时间序列的假设,可在每个时间步构造一个顶点-顶点相关矩阵,通过保留最大特征值和一组低维矩阵(每个顶点对应一个矩阵),可对相关矩阵的特征方程进行压缩,通过学习特征值和矩阵的分布,即可发现异常顶点和事件。当特征值偏离期望分布时,即认为发生了事件,当顶点的矩阵偏离矩阵分布时,可认为该顶点为异常顶点。