1. 应用统计学与R语言实现学习笔记（十）——聚类分析 ) 2. 厦门大学-多元统计分析 3. DBSCAN 密度聚类法 4. 四大聚类算法（KNN、Kmeans、密度聚类、层次聚类）
俗话说，物以类聚，人以群分。聚类在日常生活中，非常常见. 就是将相似的物体，放在一起.
聚类的目的 ——根据已知数据（ 一批观察个体的许多观测指标） ， 按照一定的数学公式计算各观察个体或变量（指标）之间亲疏关系的统计量（距离或相关系数等）。 根据某种准则（ 最短距离法、最长距离法、中间距离法、重心法等），使同一类内的差别较小，而类与类之间的差别较大，最终将观察个体或变量分为若干类。
根据分类的对象可将聚类分析分为：
样品间亲疏程度的测度
研究样品或变量的亲疏程度的数量指标有两种，一种叫相似系数，性质越接近的变量或样品，它们的相似系数越接近于1，而彼此无关的变量或样品它们的相似系数则越接近于0，相似的为一类，不相似的为不同类；另一种叫距离，它是将每一个样品看作p维空间的一个点，并用某种度量测量点与点之间的距离，距离较近的归为一类，距离较远的点属于不同的类。
变量之间的聚类即R型聚类分析，常用相似系数来测度变量之间的亲疏程度。 而样品之间的聚类即Q型聚类分析，则常用距离来测度样品之间的亲疏程度。
距离
假使每个样品有p个变量，则每个样品都可以看成p维空间中的一个点， n个样品就是p维空间中的n个点，则第i样品与第j样品之间的距离可以进行计算。
几种常用方式度量： 欧式距离 L2（Euclidean distance）--- 常用 马氏距离（Mahalanobis distance）---协方差矩阵 Minkowski测度（ Minkowski metric） Canberra测度（Canberra metric）
有了距离衡量度量，我们可以计算两两的距离，就得到距离矩阵~ 比如：下面用dist 计算距离的方法
定义了距离之后，怎样找到"合理"的规则，使相似的/距离小的个体聚成一个族群？
考虑所有的群组组合显然在计算上很难实现，所以一种常用的聚类方法为层次聚类/系统聚类（hierarchical clustering）
从系统树图中可以看出，我们需要度量族群与族群之间的距离，不同的定义方法决定了不同的聚类结果：
计算族群距离的三种方法的比较：
（可以看到都是小小的族群合并在一起，因为让方差增加最小，倾向与合并小群体）
一般情况，我们得到系统树，需要对树进行切割. 如下图一条条竖线.
层次聚类族群数的选择：
1、建立n个初始族群，每个族群中只有一个个体 2、计算n个族群间的距离矩阵 3、合并距离最小的两个族群 4、计算新族群间的距离矩阵。如果组别数为1，转步骤5；否则转步骤3 5、绘制系统树图 6、选择族群个数
在层次聚类中，一旦个体被分入一个族群，它将不可再被归入另一个族群,故现在介绍一个“非层次”的聚类方法——分割法（Partition）。最常用的分割法是k-均值（k-Means）法
k-均值法试图寻找 个族群 的划分方式，使得划分后的族群内方差和（within-group sum of squares，WGSS）最小.
思路也是将相近的样本,聚在一起，使得组内方差小，组间方差大.
① 选定 个“种子”（Cluster seeds）作为初始族群代表 ② 每个个体归入距离其最近的种子所在的族群 ③ 归类完成后，将新产生的族群的质心定为新的种子 ④ 重复步骤2和3，直到不再需要移动 ⑤ 选择不同的k 值，计算WGSS,找到拐点确定最合适的K.
有多种初始种子的选取方法可供选择： 1、在相互间隔超过某指定最小距离的前提下，随机选择k个个体 2、选择数据集前k个相互间隔超过某指定最小距离的个体 3、选择k个相互距离最远的个体 4、选择k个等距网格点（Grid points），这些点可能不是数据集的点
可以想到，左侧的点收敛更快得到全局最优；左侧可能聚类效果一般，或者收敛非常慢，得到局部最优.
我们的目标是使得WGSS足够小，是否应该选取k使得WGSS最小？
我们需要选择一个使得WGSS足够小（但不是最小）的k值.（PS: 族群内方差和最小时候，k=n,此时WGSS为0，此时是过拟合问题~）
当我们分部计算k=1,2,3,4,5... 时候，WGSS值，就可以绘制下面碎石图。及WGSS 随着k 变化过程。k 越大，WGSS越小.
统计分析是运用统计 方法 与分析对象有关的知识，从定量与定性的结合上进行的研究活动。下文是我为大家整理的关于统计分析论文的 范文 ，欢迎大家阅读参考!
浅谈统计分析与决策
[摘要] 统计分析与决策二者有联系又有区别。统计要参与决策，必须搞好统计分析。搞好统计分析，需要解决选题、分析、撰写 报告 三个问题。
[关键词] 统计分析 分析方法 决策
统计工作的全过程分为四个阶段，即统计设计，统计调查，统计整理，统计分析。其中，统计分析是统计工作的最后一个阶段，是出统计成果的阶段。现在倡导统计要参与决策，这是不是说统计工作还要增加一个决策阶段呢?如果不是，那么，统计分析与决策是什么关系呢?
狭义的说，统计分析与决策是有区别的。统计分析是以统计数字为基础，以统计方法为手段，对社会经济情况进行科学的分析和综合研究，以认识其本质和规律的过程。而决策则是为了达到某一预定目标，运用逻辑方法和统计方法，对两种或两种以上可能采取的方案进行比较、分析、研究，以做出合理的、科学的抉择的行为过程。假若把统计分析与决策比作医生看病，统计分析就是对病情的诊断，决策就是开处方，“诊断”和“处方”是有区别的。
广义的讲，统计分析与决策是密不可分的。一方面，统计分析贯穿于决策过程之中。一个决策过程大体上可分为下列三个大步骤：第一，诊断问题所在，确定决策目标;第二，探索和拟定各种可能的备选方案;第三，从各种备选方案中选出最合适的方案。从这三大步骤看，尽管要用到多种方法和手段，但哪一步也离不开统计分析，第一步就是通过统计分析，诊断问题所在，并在分析的基础上确定决策目标;第二步拟定备选方案，要经过“轮廊设想”和“细部设计”这个阶段对轮廊设想的方案要做初步筛选，对每一方案要充实具体内容，“筛选”和“充实”都要经过统计分析;第三步选择最佳方案，首先要对各个备选方案进行评价、论证，这又需要统计分析。因此可以说，没有统计分析，也就没有科学决策。另一方面，从某种意义上讲，决策是统计分析的结果。一般来说，统计分析报告是提出问题、分析问题、指出解决问题的办法，其实，决策方案也就是解决问题实现决策目标的办法，只不过比“今后意见”“几条 措施 ”之类的办法更全面、更详细、更科学罢了。医生诊断是为了正确处方，治病救人，不能只诊断不处方。统计分析是为了发现问题，解决问题，推动社会经济的顺利发展;也不能只提出问题，而不寻找解决问题的办法。从这个意义上讲，统计分析也就包括预测和决策。我们不能为统计而统计，也不能为分析而分析。统计应该参与决策，为了决策科学化，必须搞好统计分析。
搞好统计分析，需要解决选题、分析、撰写报告三个问题。
一、统计分析选题
所谓选题，就是在复杂的社会经济现象中,确定统计分析的内容和范围。进行统计分析,选题很重要。成功的选题是成功的分析的前提。
怎样选好题呢?选好题标准有两条:―是分析对象有意义，二是适合决策层和群众需要。关键是抓住党和国家的方针政策和企业的经济效益。
统计分析课题是很广泛的。工业统计分析课题如：计划执行情况分析、工业净产值统计分析、工业产品销售统计分析、工业原材料供应和消耗统计分析、工业能源消耗统计分析、工业生产设备统计分析、工业劳动与工资统计分析、成本利润统计分析、综合经济效益统计分析等。商品流通企业统计分析课题如：市场供求状况分析、市场占有率分析、主要商品经济寿命周期分析、市场商品价格分析、计划执行情况分析、购销合同执行情况分析、商品购进质量分析、商品销售动态分析、商品销售构成分析、商品库存分析、企业经济效益分析等。对于以上内容，可根据不同的时间、地点、条件，按两条选题标准适当选择。
统计分析有专题分析与综合分析之分。在一定的总体范围内，研究总体的各个方面及其相互关系，或研究总体的主要方面的统计分析，属于综合分析;只研究其中某一方面，或某一部分的统计分析，属于专题分析。两者各有不同的特点，都是必要的，但专题分析宜多，综合分析宜少。
二、统计分析方法
统计分析的关键是分析，怎样进行统计分析呢?统计分析有两个特点:一是以统计数字为基础,二是以统计方法为手段。因此,统计分析在选题之后,就要根据分析的需要,搜集整理有关数字资料及具体情况,在充分占有材料的基础上,灵活运用统计方法进行分析。
统计分析方法很多。统计学原理中除了有关统计调查、统计整理的内容外,综合指标、统计指数、时间数列、抽样推断等内容全部是统计分析方法。从方法角度上讲，统计分析就是统计学原理的运用。
统计方法与人们的认识过程是相适应的。人们的认识分感性认识和理性认识两个阶段。感性认识阶段所认识的是事物的现象，可采用统计调查和统计整理。理性认识阶段所认识的是事物的本质和规律，这个阶段要经过形成概念、进行判断和推理等思维活动。与此相适应，要分别采用不同的统计分析方法。
形成概念一般用描述性的综合指标法，即总量指标、相对指标和平均指标，以说明现象的规模大小、水平高低、速度快慢、内部结构以及比例关系等。判断推理就是要判断事物的性质，分析事物变化的原因，找出事物发展的规律。这一般要用分组分析法、动态分析法、因素分析法、相关回归分析法、平衡分析法等。
对统计学原理中的各种统计分析方法要熟练地掌握，灵活地运用。怎样灵活运用呢?这里有个技巧问题。技巧就是定性分析与定量分析巧妙结合。
所谓定性分析是指对事物的性质和影响事物发展变化的因素进行分析。定量分析就是分析事物的规模、水平、速度、结构、比例，以及各个因素对事物总体变化的影响方向和影响程度。定性分析与定量分析巧妙结合有两层含义，一是二者不可偏废，二是二者密不可分，
没有定性分析,定量分析就没有方向。没有定量分析,定性分析就不准确。结合的目的是在质与量的辩证统一中探寻事物的内在联系。
从根本上讲，统计分析就是完成从感性认识到理性认识，从现象到本质的飞跃。完成了这―飞跃，才是高质量的统计分析。有些统计分析质量不高，往往就是没有完成这一飞跃，仍然停留在表面现象上。
三、统计分析报告的撰写
统计分析报告是统计的最终产品。如果说统计数字的准确性是统计的生命，那么，统计分析报告的质量则关系到统计作用的发挥。对高质量的统计分析报告的要求，可以概括为五个字，就是“准、快、新、深、活”。
准:就是实事求是地反映客观实际。做到数字准确，情况准确，论点准确。
快:就是在决策层决策之前，不失时机地及时提供分析报告。
新:就是不断创新。要求不断开拓新领域，钻研新课题，反映新情况和新问题。
深:就是要在充分占有材料的基础上，提高分析的深度，使认识不只停留在反映现象上，而要揭示事物的本质和规律，并且用观点统帅材料，用材料说明观点，做到材料和观点的统一。
活:就是文字生动活泼，形式灵活多样。资料要多样化和生动具体，要有群众语言，要通俗易懂，文字要精精炼。
统计分析报告是在统计分析的基础上撰写出来的。没有好的分析，不可能写出好的报告。经过分析阶段，弄清了事实，判明了性质，探索出规律，得出了结论，在此基础上就可以撰写统计分析报告。但分析得好，并不等于报告写得好，这里还有个撰写的技巧问题，那就是准确地表述事实，透彻地阐明本质，深刻地揭示规律，恰当地提出建议。
1.准确地表述事实
每一篇统计分析报告，都需要表述所分析的现象，即说明“是什么”。准确地表述事实，才能给读者一个明确的概念。为此，须注意如下几点:(1)数字要真实;(2)运用数字要适当，不要堆砌数字，搞数字文字化;(3)语言要素准确。
2.透彻地阐明本质
现象只说明事物的各个片面，本质才说明事物的整体。撰写统计分析报告，必须深刻地揭示事物的本质，它是统计认识事物的正确程度和深度的反映。如果不能深刻地阐明事物的本质，那只能是现象罗列，没有多大价值。
阐明事物的本质，也就是阐明事物的基本性质。事物的性质是由事物内部矛盾的主要方面决定的。例如，某企业利润增加，是靠涨价，还是靠降低成本?经过分析，认识到利润增加主要是靠降低成本，这是矛盾的主要方面，这就反映出事物的性质。因此，在报告中就应阐明降低成本在提高经济效益中的重要作用。再如某企业，本质问题是钢材浪费严重，在报告中就应揭示浪费的若干方面和严重程度。
3.深刻地揭示规律
规律是事物内部固有的、本质的、必然联系。成本高低与产量多少有联系，经过推理，这种联系是事物内部固有的、本质的必然联系，反映了事物发展变化的规律性，而且存在一定的回归关系。而回归方程反映这种关系，所以在统计分析报告中，要利用回归方程揭示这种必然联系及其回归关系。
4.恰当地提出建议
认识世界的目的是为了改造世界。经过统计分析,透过现象认识到事物的本质和规律,还必须提出解决问题的建议,如“今后意见”、“几点建议”、“决策方案”等等。怎样才算恰当地建议呢?恰当的建议要符合三个条件:(1)符合分析目的;(2)合乎客观规律;(3)切实可行。
以上四点,一般可以作为分析报告的结构和顺序,但不能千篇一律。
统计分析报告是统计分析结果的反映。既要注意提高写作水平，更要努力锻炼分析问题和解决问题的能力。
试谈统计分析方法应用
【摘要】统计分析方法应用于各个领域，解决了很多工业、农业、经济、医学等领域的实际问题，本文分析多元统计分析方法的主要应用和构建多元统计方法检验体系的必要性，针对性的提出了需要引起注意的共性问题，具有很强的现实意义。
【关键词】统计分析方法;应用;检验体系;共性问题;现实意义前言
随着信息技术的普及和广泛应用，它推动了社会、经济和科学技术的发展，多元统计分析方法的难题得到了攻破，各个领域广泛采用，推动了各行各业经济的快速发展。
二、多元统计分析方法的主要应用
统计方法是科学研究的一种重要工具，其应用颇为广泛。在工业，农业，经济，生物和医学等领域的实际问题中，常常需要处理多个变量的观测数据，因此对多个变量进行综合处理的多元统计分析方法显得尤为重要。随着电子计算机技术的普及，以及社会，经济和科学技术的发展，过去被认为具有数学难度的多元统计分析方法，已越来越广泛地应用于实际。
聚类分析
它是研究分类问题的一种多元统计方法，聚类分析的基本思想是首先将每个样本当作一类，然后根据样本之间的相似程度并类计算新类与 其它 类之间距离，再选择近似者并类每合并一次减少一类，继续这一过程直到所有样本都合并成为一类为止。所以聚类分析依赖于对观测间的接近程度或相似程度的理解，定义不同的距离量度和相似性量度就可以产生不同的聚类结果。企业制定 市场营销 战略时要弄清在同一市场中哪些企业是直接竞争者，哪些是间接竞争者是非常关键的一个环节。要解决这个问题，企业首先可以通过 市场调查 ，获取自己和所有主要竟争者，从而寻找企业在市场中的机会。
判别分析
判别分析是已知研究对象分成若干类型，并取得各种类型的一批已知样品的观测数据、在此基础上根据某些准则建立判别式，然后对未知类型的样品进行判别分析，企业在市场预测中往往根据以往所调查的种种指标，用判别分析方法判断下季度产品是畅销平销或滞销。一般情况下判别分析经常与聚类分析联合起来使用。
主成分分析
主成分分析就是设法将原来指标重新组合成一组新的互相无关的几个综合指标，来代替原来指标，同时根据实际需要从中可取几个较少的综台指标，尽可能多反映原来指标的信息，在市场研究中常常利用主成分析方法分析顾客的偏好和当前市场的产品与顾客之间的差别，从而提供给生产企业新产品开发方向的信息。
因子分析
因子分析是主成分分析的推广和应用。它是将错综复杂的随机变量综合为数量较少的随机变量去描述，多个变量之间的相关关系以再现原始指标与因子之间的相互关系。也可以认为因子分析是将指标按原始数据的内在结构分类。例如:对Y个调查区的商业网点数、人口数、金融机构服务数、收入情况等N个指标进行因子分析，如果按照一般的分析方法，我们就需要处理N个指标，并给它们以不同的权重。这样不仅工作量变大而且由干指标之间存在比较高的相关性，会给分析结果带来偏差另外给具有较高相关性的众多指标，从而计算出各个调查区平均综合实力得分以便决定在某个调查区拟建何种类型的销售点。
三、构建多元统计分析方法检验体系的必要性
(一)构建多元统计分析方法检验体系，提高多元统计分析应用质量
多元统计分析方法已经越来越为人们广泛应用，但应用中盲目套用分析方法的情况很多，只关心模型方法的应用。许多教科书也只侧重介绍多元统计分析方法的思想、原理和分析步骤，对多元统计分析方法应用结果的统计检验叙述不多。这就直接影响了多元统计分析方法的应用效果和可信性。因此，本文拟对多元统计分析方法的统计检验问题进行探讨。构建多元统计分析方法检验体系的目的在于进一步丰富和完善多元统计分析方法的内容体系;实践上，使多元统计分析方法的应用更加合理、规范。推动多元统计分析方法应用质量的提高，推动多元统计分析方法获得更广泛的应用。
(二)多元统计分析统计检验体系的基础理论
多元正态分布总体的样本分布，即维希特分布，霍特林分布，威尔克斯分布,多元正态总体均值向量假设检验，包括一个正态总体均值向量假设检验，两个正态总体均值向量假设检验，多个正态总体均值向量假设检验;多元正态总体协方差阵假设检验，包括一个正态总体协方差阵假设检验，多个协差阵相等假设检验。
(三)关于统计检验体系
将上述统计检验体系有机结合在一起，就构成了多元统计分析方法检验体系的基本框架。多元统计分析方法检验体系的构建,用多元统计分析方法，充分发挥多元统计分析方法的应用价值，提高应用质量，我们建议，在应用时，应该按照上述框架进行相应的统计检验。当然。上述统计检验体系还是一个初步的框架，随着多元统计分析方法理论的逐步完善，上述检验体系也需要不断完善，也需要更多的同行关注此类问题并不断加以研究。另一方面，在实际应用中，即便是某种方法根据上述内容都进行了统计检验，由于各种方法自身存在的缺陷或局限性，也还会存在许多应用中考虑不周之处。应该引起注意。但是，因子分析结果还是具有较大主观性。特别是对公共主因子在专业方面实际意义的解释上，仍然保留着一种艺术气息，并没有统一做法，因此很多情况下也是不能令人满意的。总之，我们在应用时，对因子分析的适用性、公因子的估计方法、公因子选取的数目。公因子的实际意义的解释等一系列问题都要引起足够注意。检验体系有如下几个分类：
a.主成分分析统计检验体系
b.因子分析统计检验体裂引
c.系统聚类分析统计检验体系
d.判别分析统计检验体裂
e.对应分析统计检验体系
f.典型相关分析统计检验体系
四、多元统计分析方法应用中需要注意的几个共性问题
1.关于原始数据变量的总体分布问题。
对原始变量的总体分布各种方法各有不同的要求。有的方法对原始数据变量总体分布没有特殊的要求，如主成分分析、聚类分析、对应分析。有的方法在不同情况下，对原始变量分布有不同的要求，如因子分析中，公共因子的估计方法不同，对原始变量分布要求不同，采用极大似然估计方法估计主因子时，是假定原始变量是服从多元正态分布的，因此，应用时要引起重视，如典型相关分析要求原始变量服从正态分布，但在严格意义上，如果变量的分布形式比如高度偏态不会降低其他变量的相关关系，典型相关分析是可以包含这种非正态变量的。
样本容量问题。
进行多元统计分析时，样本容量n达到多少为宜，目前尚没有统一的结论。有的认为样本容量应是变量个数的10～20倍，有的认为样本容量要在100以上比较合适，有的认为进行巴特莱特检验时的样本容量应该大于150方可，也有的认为不必苛求太多的样本容量，如在进行主成分分析和因子分析时当原始变量之间的相关性很小时，即使再扩大样本容量，也难以得到满意效果。
原始变量之间的相关性以及非线性关系问题。
多元统计分析方法中，有的是的要求原始变量中要具有相关性。有的则不要求原始变量具有相关性。如聚类分析中，进行Q型系统聚类分析时对原始数据变量之间的相关性也是有要求的，如选择欧式距离、明氏距离、兰氏距离时，则要求原始变量之间是不相关的。只有对原始数据的相关性进行了处理后，才可以选择使用上述距离。若原始变量存在相关性，则选择马氏距离比较合适。另外原始变量之间的非线性关系也是需要注意的问题。如主成分分析、因子分析以及典型相关分析当基于相关矩阵来进行计算时，这里的相关矩阵实际上是Pearson的积差相关。但是，如果变量之间的关系不是线性的，而是非性相关关系，于是，所进行的分析以及结论也就失去应有的意义了。
数据处理问题。
多元统计分析中涉及多个变量，不同变量往往具有不同的量纲及不同的数量级别。在分析时，具有不同量纲的变量进行线性组合是没有意义的，不同的数量级别的变量之间进行分析时。会导致“以大吃小”，即数量级的变量的影响会被忽略，从而影响了分析结果的合理性。因此。为了消除量纲和数量级别的影响，进行多元统计分析时，必须对原始数据进行处里，最常用的是先作标准化变换处理，然后再作相应的分析。
五、结束语
在统计分析方法的应用中，会涉及到多个变量，因此，必须根据原来有的数量进行处理，然后才能得出相应的分析结论。本文结合多元统计分析方法的理论基础，对相关检验体系和分析体系进行了分析，具有现实的理论指导意义。
【参考文献】
[1]于秀林.多元统计分析[M].北京,中国统计出版社，1999：223—224.
[2]高惠璇.应用多元统计分析[M].北京,北京大学出版社 ，2005：343—366.
[3]郭志刚.社会科学分析方法一SPSS软件应用[M].,中国人民大学出版社，1999.
[4]傅德印.主成分分析中的统计检验问题 [J].统计 教育 ，2007(9)：4—7.
都是拿来进行降维的方法，把多个变量简化少数几个不相关的变量。
判别分析一般结合聚类分析一起做，因为判别分析的前提需要大部分数据已经分好组，再去对待判数据进行归类。
主成份分析与因子分析如出一辙，建议你去看看书。
1. 因子分析模型
因子分析法是从研究变量内部相关的依赖关系出发，把一些具有错综复杂关系的变量归结为少数几个综合因子的一种多变量统计分析方法。它的基本思想是将观测变量进行分类，将相关性较高，即联系比较紧密的分在同一类中，而不同类变量之间的相关性则较低，那么每一类变量实际上就代表了一个基本结构，即公共因子。对于所研究的问题就是试图用最少个数的不可测的所谓公共因子的线性函数与特殊因子之和来描述原来观测的每一分量。
因子分析的基本思想：
把每个研究变量分解为几个影响因素变量，将每个原始变量分解成两部分因素，一部分是由所有变量共同具有的少数几个公共因子组成的，另一部分是每个变量独自具有的因素，即特殊因子
因子分析模型描述如下：
（1）X = (x1，x2，…，xp)￠是可观测随机向量，均值向量E(X)=0，协方差阵Cov(X)=∑，且协方差阵∑与相关矩阵R相等（只要将变量标准化即可实现）。
（2）F = (F1，F2，…，Fm)￠ （m<p）是不可测的向量，其均值向量E(F)=0，协方差矩阵Cov(F) =I，即向量的各分量是相互独立的。
（3）e = (e1，e2，…，ep)￠与F相互独立，且E(e)=0， e的协方差阵∑是对角阵，即各分量e之间是相互独立的，则模型：
x1 = a11F1+ a12F2 +…+a1mFm + e1
x2 = a21F1+a22F2 +…+a2mFm + e2
………
xp = ap1F1+ ap2F2 +…+apmFm + ep
称为因子分析模型，由于该模型是针对变量进行的，各因子又是正交的，所以也称为R型正交因子模型。
其矩阵形式为： x =AF + e .
其中：
x=，A=，F=，e=
这里，
（1）m ￡ p；
（2）Cov(F，e)=0，即F和e是不相关的；
（3）D(F) = Im ，即F1，F2，…，Fm不相关且方差均为1；
D(e)=，即e1，e2，…，ep不相关，且方差不同。
我们把F称为X的公共因子或潜因子，矩阵A称为因子载荷矩阵，e 称为X的特殊因子。
A = (aij)，aij为因子载荷。数学上可以证明，因子载荷aij就是第i变量与第j因子的相关系数，反映了第i变量在第j因子上的重要性。
2. 模型的统计意义
模型中F1，F2，…，Fm叫做主因子或公共因子，它们是在各个原观测变量的表达式中都共同出现的因子，是相互独立的不可观测的理论变量。公共因子的含义，必须结合具体问题的实际意义而定。e1，e2，…，ep叫做特殊因子，是向量x的分量xi(i=1，2，…，p)所特有的因子，各特殊因子之间以及特殊因子与所有公共因子之间都是相互独立的。模型中载荷矩阵A中的元素(aij)是为因子载荷。因子载荷aij是xi与Fj的协方差，也是xi与Fj的相关系数，它表示xi依赖Fj的程度。可将aij看作第i个变量在第j公共因子上的权，aij的绝对值越大(|aij|￡1)，表明xi与Fj的相依程度越大，或称公共因子Fj对于xi的载荷量越大。为了得到因子分析结果的经济解释，因子载荷矩阵A中有两个统计量十分重要，即变量共同度和公共因子的方差贡献。
因子载荷矩阵A中第i行元素之平方和记为hi2，称为变量xi的共同度。它是全部公共因子对xi的方差所做出的贡献，反映了全部公共因子对变量xi的影响。hi2大表明x的第i个分量xi对于F的每一分量F1，F2，…，Fm的共同依赖程度大。
将因子载荷矩阵A的第j列( j =1，2，…，m)的各元素的平方和记为gj2，称为公共因子Fj对x的方差贡献。gj2就表示第j个公共因子Fj对于x的每一分量xi(i= 1，2，…，p)所提供方差的总和，它是衡量公共因子相对重要性的指标。gj2越大，表明公共因子Fj对x的贡献越大，或者说对x的影响和作用就越大。如果将因子载荷矩阵A的所有gj2 ( j =1，2，…，m)都计算出来，使其按照大小排序，就可以依此提炼出最有影响力的公共因子。
3. 因子旋转
建立因子分析模型的目的不仅是找出主因子，更重要的是知道每个主因子的意义，以便对实际问题进行分析。如果求出主因子解后，各个主因子的典型代表变量不很突出，还需要进行因子旋转，通过适当的旋转得到比较满意的主因子。
旋转的方法有很多，正交旋转(orthogonal rotation)和斜交旋转(oblique rotation)是因子旋转的两类方法。最常用的方法是最大方差正交旋转法(Varimax)。进行因子旋转，就是要使因子载荷矩阵中因子载荷的平方值向0和1两个方向分化，使大的载荷更大，小的载荷更小。因子旋转过程中，如果因子对应轴相互正交，则称为正交旋转；如果因子对应轴相互间不是正交的，则称为斜交旋转。常用的斜交旋转方法有Promax法等。
4.因子得分
因子分析模型建立后，还有一个重要的作用是应用因子分析模型去评价每个样品在整个模型中的地位，即进行综合评价。例如地区经济发展的因子分析模型建立后，我们希望知道每个地区经济发展的情况，把区域经济划分归类，哪些地区发展较快，哪些中等发达，哪些较慢等。这时需要将公共因子用变量的线性组合来表示，也即由地区经济的各项指标值来估计它的因子得分。
设公共因子F由变量x表示的线性组合为：
Fj = uj1 xj1+ uj2 xj2+…+ujpxjp j=1，2，…，m
该式称为因子得分函数，由它来计算每个样品的公共因子得分。若取m=2，则将每个样品的p个变量代入上式即可算出每个样品的因子得分F1和F2，并将其在平面上做因子得分散点图，进而对样品进行分类或对原始数据进行更深入的研究。
但因子得分函数中方程的个数m小于变量的个数p，所以并不能精确计算出因子得分，只能对因子得分进行估计。估计因子得分的方法较多，常用的有回归估计法，Bartlett估计法，Thomson估计法。
（1）回归估计法
F = X b = X (X ￠X)-1A￠ = XR-1A￠ (这里R为相关阵，且R = X ￠X )。
（2）Bartlett估计法
Bartlett估计因子得分可由最小二乘法或极大似然法导出。
F = [(W-1/2A)￠ W-1/2A]-1(W-1/2A)￠ W-1/2X = (A￠W-1A)-1A￠W-1X
（3）Thomson估计法
在回归估计法中，实际上是忽略特殊因子的作用，取R = X ￠X，若考虑特殊因子的作用，此时R = X ￠X＋W，于是有：
F = XR-1A￠ = X (X ￠X＋W)-1A￠
这就是Thomson估计的因子得分，使用矩阵求逆算法(参考线性代数文献)可以将其转换为：
F = XR-1A￠ = X (I+A￠W-1A)-1W-1A￠
5. 因子分析的步骤
因子分析的核心问题有两个：一是如何构造因子变量；二是如何对因子变量进行命名解释。因此，因子分析的基本步骤和解决思路就是围绕这两个核心问题展开的。
（i）因子分析常常有以下四个基本步骤：
（1）确认待分析的原变量是否适合作因子分析。
（2）构造因子变量。
（3）利用旋转方法使因子变量更具有可解释性。
（4）计算因子变量得分。
（ii）因子分析的计算过程：
（1）将原始数据标准化，以消除变量间在数量级和量纲上的不同。
（2）求标准化数据的相关矩阵；
（3）求相关矩阵的特征值和特征向量；
（4）计算方差贡献率与累积方差贡献率；
（5）确定因子：
设F1，F2，…， Fp为p个因子，其中前m个因子包含的数据信息总量（即其累积贡献率）不低于80%时，可取前m个因子来反映原评价指标；
（6）因子旋转：
若所得的m个因子无法确定或其实际意义不是很明显，这时需将因子进行旋转以获得较为明显的实际含义。
（7）用原指标的线性组合来求各因子得分：
采用回归估计法，Bartlett估计法或Thomson估计法计算因子得分。
（8）综合得分
以各因子的方差贡献率为权，由各因子的线性组合得到综合评价指标函数。
F = (w1F1+w2F2+…+wmFm)／(w1+w2+…+wm )
此处wi为旋转前或旋转后因子的方差贡献率。
（9）得分排序：利用综合得分可以得到得分名次。
在采用多元统计分析技术进行数据处理、建立宏观或微观系统模型时，需要研究以下几个方面的问题：
· 简化系统结构，探讨系统内核。可采用主成分分析、因子分析、对应分析等方法，在众多因素中找出各个变量最佳的子集合，从子集合所包含的信息描述多变量的系统结果及各个因子对系统的影响。“从树木看森林”，抓住主要矛盾，把握主要矛盾的主要方面，舍弃次要因素，以简化系统的结构，认识系统的内核。
· 构造预测模型，进行预报控制。在自然和社会科学领域的科研与生产中，探索多变量系统运动的客观规律及其与外部环境的关系，进行预测预报，以实现对系统的最优控制，是应用多元统计分析技术的主要目的。在多元分析中，用于预报控制的模型有两大类。一类是预测预报模型，通常采用多元线性回归或逐步回归分析、判别分析、双重筛选逐步回归分析等建模技术。另一类是描述性模型，通常采用聚类分析的建模技术。
· 进行数值分类，构造分类模式。在多变量系统的分析中，往往需要将系统性质相似的事物或现象归为一类。以便找出它们之间的联系和内在规律性。过去许多研究多是按单因素进行定性处理，以致处理结果反映不出系统的总的特征。进行数值分类，构造分类模式一般采用聚类分析和判别分析技术。
如何选择适当的方法来解决实际问题，需要对问题进行综合考虑。对一个问题可以综合运用多种统计方法进行分析。例如一个预报模型的建立，可先根据有关生物学、生态学原理，确定理论模型和试验设计；根据试验结果，收集试验资料；对资料进行初步提炼；然后应用统计分析方法(如相关分析、逐步回归分析、主成分分析等)研究各个变量之间的相关性，选择最佳的变量子集合；在此基础上构造预报模型，最后对模型进行诊断和优化处理，并应用于生产实际。
Rotated Component Matrix，就是经转轴后的因子负荷矩阵，
当你设置了因子转轴后，便会产生这结果。
转轴的是要得到清晰的负荷形式，以便研究者进行因子解释及命名。
SPSS的Factor Analysis对话框中，有个Rotation钮，点击便会弹出Rotation对话框，
其中有5种因子旋转方法可选择：
1.最大变异法(Varimax)：使负荷量的变异数在因子内最大，亦即，使每个因子上具有最高载荷的变量数最少。
2.四次方最大值法(Quartimax)：使负荷量的变异数在变项内最大，亦即，使每个变量中需要解释的因子数最少。
3.相等最大值法(Equamax)：综合前两者，使负荷量的变异数在因素内与变项内同时最大。
4.直接斜交转轴法(Direct Oblimin)：使因素负荷量的差积（cross-products）最小化。
5.Promax 转轴法：将直交转轴(varimax)的结果再进行有相关的斜交转轴。因子负荷量取2，4，6次方以产生接近0但不为0的值，藉以找出因子间的相关，但仍保有最简化因素的特性。
上述前三者属於「直交(正交)转轴法」(Orthogonal Rotations)，在直交转轴法中，因子与因子之间没有相关，因子轴之间的夹角等於90 度。后两者属於「斜交转轴」(oblique rotations)，表示因子与因子之间彼此有某种程度的相关，因素轴之间的夹角不是90度。
直交转轴法的优点是因子之间提供的讯息不会重叠，受访者在某一个因子的分數与在其他因子的分數，彼此独立互不相关；缺点是研究迫使因素之间不相关，但这种情况在实际的情境中往往并不常存在。至於使用何种转轴方式，须视乎研究题材、研究目的及相关理论，由研究者自行设定。
在根据结果解释因子时，除了要看因子负荷矩阵中，因子对哪些变量呈高负荷，对哪些变量呈低负荷，还须留意之前所用的转轴法代表的意义。
2,主成分分析（principal component analysis）
将多个变量通过线性变换以选出较少个数重要变量的一种多元统计分析方法。又称主分量分析。在实际课题中，为了全面分析问题，往往提出很多与此有关的变量（或因素），因为每个变量都在不同程度上反映这个课题的某些信息。但是，在用统计分析方法研究这个多变量的课题时，变量个数太多就会增加课题的复杂性。人们自然希望变量个数较少而得到的信息较多。在很多情形，变量之间是有一定的相关关系的，当两个变量之间有一定相关关系时，可以解释为这两个变量反映此课题的信息有一定的重叠。主成分分析是对于原先提出的所有变量，建立尽可能少的新变量，使得这些新变量是两两不相关的，而且这些新变量在反映课题的信息方面尽可能保持原有的信息。主成分分析首先是由K.皮尔森对非随机变量引入的，尔后H.霍特林将此方法推广到随机向量的情形。信息的大小通常用离差平方和或方差来衡量。
（1）主成分分析的原理及基本思想。
原理：设法将原来变量重新组合成一组新的互相无关的几个综合变量，同时根据实际需要从中可以取出几个较少的总和变量尽可能多地反映原来变量的信息的统计方法叫做主成分分析或称主分量分析，也是数学上处理降维的一种方法。
基本思想：主成分分析是设法将原来众多具有一定相关性（比如P个指标），重新组合成一组新的互相无关的综合指标来代替原来的指标。通常数学上的处理就是将原来P个指标作线性组合，作为新的综合指标。最经典的做法就是用F1（选取的第一个线性组合，即第一个综合指标）的方差来表达，即Var(F1)越大，表示F1包含的信息越多。因此在所有的线性组合中选取的F1应该是方差最大的，故称F1为第一主成分。如果第一主成分不足以代表原来P个指标的信息，再考虑选取F2即选第二个线性组合，为了有效地反映原来信息，F1已有的信息就不需要再出现再F2中，用数学语言表达就是要求Cov(F1, F2)=0，则称F2为第二主成分，依此类推可以构造出第三、第四，……，第P个主成分。
（2）步骤
Fp=a1mZX1+a2mZX2+……+apmZXp
其中a1i, a2i, ……,api(i=1,……,m)为X的协方差阵∑的特征值多对应的特征向量，ZX1, ZX2, ……, ZXp是原始变量经过标准化处理的值，因为在实际应用中，往往存在指标的量纲不同，所以在计算之前须先消除量纲的影响，而将原始数据标准化，本文所采用的数据就存在量纲影响[注：本文指的数据标准化是指Z标准化]。
A=(aij)p×m=(a1,a2,…am,)，Rai=λiai，R为相关系数矩阵，λi、ai是相应的特征值和单位特征向量,λ1≥λ2≥…≥λp≥0 。
进行主成分分析主要步骤如下：
1. 指标数据标准化（SPSS软件自动执行）；
2. 指标之间的相关性判定；
3. 确定主成分个数m；
4. 主成分Fi表达式；
5. 主成分Fi命名；
选用以上两种方法时的注意事项如下：
1、因子分析中是把变量表示成各因子的线性组合，而主成分分析中则是把主成分表示成个变量的线性组合。
2、主成分分析的重点在于解释个变量的总方差，而因子分析则把重点放在解释各变量之间的协方差。
3、主成分分析中不需要有假设(assumptions)，因子分析则需要一些假设。因子分析的假设包括：各个共同因子之间不相关，特殊因子（specific factor）之间也不相关，共同因子和特殊因子之间也不相关。
4、主成分分析中，当给定的协方差矩阵或者相关矩阵的特征值是唯一的时候，的主成分一般是独特的；而因子分析中因子不是独特的，可以旋转得到不同的因子。
5、在因子分析中，因子个数需要分析者指定（spss根据一定的条件自动设定，只要是特征值大于1的因子进入分析），而指定的因子数量不同而结果不同。在主成分分析中，成分的数量是一定的，一般有几个变量就有几个主成分。和主成分分析相比，由于因子分析可以使用旋转技术帮助解释因子，在解释方面更加有优势。大致说来，当需要寻找潜在的因子，并对这些因子进行解释的时候，更加倾向于使用因子分析，并且借助旋转技术帮助更好解释。而如果想把现有的变量变成少数几个新的变量（新的变量几乎带有原来所有变量的信息）来进入后续的分析，则可以使用主成分分析。当然，这中情况也可以使用因子得分做到。所以这中区分不是绝对的。
总得来说，主成分分析主要是作为一种探索性的技术，在分析者进行多元数据分析之前，用主成分分析来分析数据，让自己对数据有一个大致的了解是非常重要的。主成分分析一般很少单独使用：a，了解数据。(screening the data)，b，和cluster analysis一起使用，c，和判别分析一起使用，比如当变量很多，个案数不多，直接使用判别分析可能无解，这时候可以使用主成份发对变量简化。（reduce dimensionality）d，在多元回归中，主成分分析可以帮助判断是否存在共线性（条件指数），还可以用来处理共线性。
在算法上，主成分分析和因子分析很类似，不过，在因子分析中所采用的协方差矩阵的对角元素不在是变量的方差，而是和变量对应的共同度（变量方差中被各因子所解释的部分）。
(1)了解如何通过SPSS因子分析得出主成分分析结果。首先，选择SPSS中Analyze－Data Reduction－Factor…，在Extraction…对话框中选择主成分方法提取因子，选择好因子提取个数标准后点确定完成因子分析。打开输出结果窗口后找到Total Variance Explained表和Component Matrix表。将Component Matrix表中第一列数据分别除以Total Variance Explained表中第一特征根值的开方得到第一主成分表达式系数，用类似方法得到其它主成分表达式。打开数据窗口，点击菜单项的Analyze－Descriptive Statistics－Descriptives…，在打开的新窗口下方构选Save standardized values as variables，选定左边要分析的变量。点击Options，只构选Means，点确定后既得待分析变量的标准化新变量。
选择菜单项Transform－Compute…，在Target Variable中输入：Z1（主成分变量名，可以自己定义），在Numeric Expression中输入例如：0.412（刚才主成分表达式中的系数）*Z人口数（标准化过的新变量名）+0.212*Z第一产业产值+…，点确定即得到主成分得分。通过对主成分得分的排序即可进行各个个案的综合评价。很显然，这里的过程分为四个步骤：
Ⅰ.选主成分方法提取因子进行因子分析。
Ⅱ.计算主成分表达式系数。
Ⅲ.标准化数据。
Ⅳ.计算主成分得分。
我们的程序也将依该思路展开开发。
（2）对为何要将Component Matrix表数据除以特征根开方的解释
我们学过主成分分析和因子分析后不难发现，原来因子分析时的因子载荷矩阵就是主成分分析特征向量矩阵乘以对应特征根开方值的对角阵。而Component Matrix表输出的恰是因子载荷矩阵，所以求主成分特征向量自然是上面描述的逆运算。
成功启动程序后选定分析变量和主成分提取方法即可在数据窗口输出得分和在OUTPUT窗口输出主成分表达式。
3,聚类分析(Cluster Analysis)
聚类分析是直接比较各事物之间的性质，将性质相近的归为一类，将性质差别较大的归入不同的类的分析技术 。
在市场研究领域，聚类分析主要应用方面是帮助我们寻找目标消费群体，运用这项研究技术，我们可以划分出产品的细分市场，并且可以描述出各细分市场的人群特征，以便于客户可以有针对性的对目标消费群体施加影响，合理地开展工作。
4.判别分析(Discriminatory Analysis)
判别分析(Discriminatory Analysis)的任务是根据已掌握的1批分类明确的样品，建立较好的判别函数，使产生错判的事例最少，进而对给定的1个新样品，判断它来自哪个总体。根据资料的性质，分为定性资料的判别分析和定量资料的判别分析；采用不同的判别准则，又有费歇、贝叶斯、距离等判别方法。
费歇（FISHER）判别思想是投影，使多维问题简化为一维问题来处理。选择一个适当的投影轴，使所有的样品点都投影到这个轴上得到一个投影值。对这个投影轴的方向的要求是：使每一类内的投影值所形成的类内离差尽可能小，而不同类间的投影值所形成的类间离差尽可能大。贝叶斯（BAYES）判别思想是根据先验概率求出后验概率，并依据后验概率分布作出统计推断。所谓先验概率，就是用概率来描述人们事先对所研究的对象的认识的程度；所谓后验概率，就是根据具体资料、先验概率、特定的判别规则所计算出来的概率。它是对先验概率修正后的结果。
距离判别思想是根据各样品与各母体之间的距离远近作出判别。即根据资料建立关于各母体的距离判别函数式，将各样品数据逐一代入计算，得出各样品与各母体之间的距离值，判样品属于距离值最小的那个母体。
5.对应分析(Correspondence Analysis)
对应分析是一种用来研究变量与变量之间联系紧密程度的研究技术。
运用这种研究技术，我们可以获取有关消费者对产品品牌定位方面的图形，从而帮助您及时调整营销策略，以便使产品品牌在消费者中能树立起正确的形象。
这种研究技术还可以用于检验广告或市场推广活动的效果，我们可以通过对比广告播出前或市场推广活动前与广告播出后或市场推广活动后消费者对产品的不同认知图来看出广告或市场推广活动是否成功的向消费者传达了需要传达的信息。
