1 引言
在机器学习的算法中对假设的精度进行经验评估是机器学习中的基本问题。经验评估算法是机器学习重要算法,假设评估算法能够根据样本的概率得出相应的真实错误率置信区间。在机器学习中的评估假设算法中,主要讨论和分析的是样本错误率的概率与真实错误率之间的有机联系。通过样本错误率的计算如何得出真实错误率置信区间,这是评价假设中关键技术和算法。
样本错误率与真实错误率是两种不同的概率,这两种概率存在某种必然的联系。真实错误率的置信区间是由样本错误率得出的。因此在这里要对真实错误率值的置信度进行评价,对真实错误率值的置信度如何进行评价已有多种算法。
置信度有好与坏的区分。然而置信度好与坏,置信度好则真实错误率落入置信区间的概率就大,置信度坏则真实错误率落入置信区间的概率就小,但事物大与小的属性值符合三值逻辑的讨论范围。如果某类实体的属性符合三值逻辑讨论的范围,那么实例的取值符合中介逻辑的取值特性。在这里根据上述理由和讨论将MMTD算法在评估假设中的置信度上进行应用是首先次,这也是本文的创新之处。
2 样本错误率和真实错误率
“为解决errors (h)在何种程度上提供了对errord (h)的估计的问题,先考虑h为离散值假设的情况。具体地说,比如我们要基于某离散值假设h在样本s上观察到的样本错误率估计它的真实错误率,其中:
(1)样本s包含n个样例,它们的抽取按照概率分布,抽取过程是相互独立的,并不依赖于h。
(2)n≥30。
(3)假设h在这n样例上犯了r个错误(errors (h)=r/n) ”。
“举例说明,假如数据样本s包含n=40个样例,并且假设h在这些数据上产生了r=12个错误。这样,样本错误率为errord (h)=12/40=0.30。如果没有更多的信息,对真实错误率errord (h)的最好的估计即为样本错误率0.30。然而我们不能期望这是对真实错误率的完美估计。如果另外收集40个随机抽取的样例s',样本错误率 errors' (h)将与原来的errors (h)存在一些差别。这种差别是由s'和s组成上的随机差异所产生的。实际上,如果不断重复这一实验,每次抽取一个包含40样例的样本si,将会发现约 95%的实验中计算所得的区间包含真实错误率。因此,我们将此区间称为errord (h)的95%置信区间估计”。
已知这些条件,统计理论可给出以下断言:
(1)没有其他信息的话,errord (h)最有可能的值为errors (h)。
(2)有大约95%的可能性,真实错误率errord (h)处于下面的区间内:
errord (h)±1.96■ 。
当评估人员在计算真实错误率的置信区间时,首先必须计算实例的置信度。在评估假设中可以通过样本的错误率得出真实错误率置信区间,在若干次实验中,如果置信度的值越大,在真实错误率落入该区间的概率就越大。估计者在计算真实错误率的置信区间时必须使用已有的条件,样本错误率的概率在计算置信区间是必可少的。据已有的技术,对某类算法进行精度估计时,必须使用评价估计算法和思想。在若干次实验中,如果实验置信度的值越大,在真实错误率落入该区间的概率就越大。
从直觉上我们也可以看出68%置信区间要小于95%置信区间,因为我们减小要求落入此区间的概率。根基上述理由和分析,在机器学习中的评价估计的算法中可以知道实例的置信度的概率越大,则真实错误率的值落入该置信区间的概率就越大。但如何使得机器具有对某个实例的真实错误率落入某个置信区间概率的大小进行自主的判断,目前还缺少相应的算法。在一定条件下,某种实例的真实错误率落入某个区间的概率有大有小,概率的大与小是一个有反对对立面的概念。因此本文中可以使用MMTD算法来对落入真实错误率置信区间的概率进行评估和判断。MMTD算法是一种智能性的算法,因此该算法对落入置信区间概率大小的进行判断和评估,这将有助于评估假设算法的智能性。
3 MMTD算法技术
3.1 中介真值程度度量知识
中介逻辑将事物的属性描述成三种状态,事物属性的两个对立面和对立面的中间过渡状态。在中介真值程度度量方法中,提出了事物超态属性概念,该方法符合中介思想事物的属性并且被划分为五种状态:事物的两个对立面,对立面的中间过渡状态和事物超态对立面。这里用符号表示为~P,P与┒P,超态+P与超态┒+ P。现用数轴将以上的描述的概念表达如下:
对数轴y=f(x)表示的含义有以下说明:
数轴上用符号P与┒P分别表示事物对立面的两个属性,符号~P表示反对对立面的中间过渡状态达事物的属性。
(1)如果数轴上数值点的位置逐步接近P,则事物A所具有P的属性逐步增强。(2)如果该数值点的位置落在真值┒P和P的取范围之间,则事物A的属性就部分地具有┒P的属性,同时又部分地具有P的属性。(3)如果数轴上数值点的位置逐步接近┒P,则事物A所具有┒P的属性逐步增强。
4 MMTD在评价假设上的应用
评价函数:y=f(x)=1-?琢%,?琢%为置信度的概率。
在样本错误率与真实错误率这一节中提到:如果真实错误率的置信度值越大,此实例的真实错误率的值落入这个置信区间的概率就越大。
5 结束语
在查阅了已有的评估假设算法文献和资料以及MMTD算法之后,提出了将MMTD算法在真实错误率的置信度和置信区间这一方面进行首次的应用,将MMTD算法在评估假设上进行应用是本文的创新点。
参考文献
[1] 朱梧槚,肖奚安.数学基础与模糊数学基础[J].自然杂志.7(1980):723-726.
[2] TomM.Mitchell著.机器学习.机械工业出版社,2013.
基金项目:
本文是北京航空航天大学软件开发环境国家重点实验室开放基金资助项(SKLSDE-2013KF)。
作者简介:
朱俚治(1980-),男,江苏宜兴人,南京航空航天大学,计算机科学与技术专业,本科,工学学士,工程师;主要研究方向和关注领域:信息安全。