多元统计分析初步

因素分析

1. 因素分析的基本思想：主成分分析的推广，也是利用降维思想，由研究原始变量相关阵居内出发，把一些具有错综复杂关系的变量归结为少数几个综合因素；根据相关性把原始变量分组，是的同组内的变量之间相关性较高，不同组的变量间相关性较低，每组变量代表一个基本结构，并用一个不可观察的综合变量表示，这个基本结构就成为公因子。
2. 根据研究者对因素的确定性程度分为探索性因素分析和验证性因素分析：
3. 探索性因素分析：研究者事先对观察数据背后可以提取多少个因素并不确定，分析的目的在于探索因素的个数。
4. 实验性因素分析：研究者根据已有的理论模型对因素的个数，以及每个变量都在哪个因素上有载荷有明确的假设，分析的目的在于对假设进行验证。
5. 因素个数的确定主要依据特征值的大小：特征值代表某个因素可解释的总变异量。一般而言，特征值需大于1才能视为一个因素。另外，还可以进行碎石图检验或险坡检验。将每一个因素依其特征值排列，特征值逐渐递减，当特征值逐渐接近，没有变化时，代表特殊的因素已经无法抽取，当特征值急剧增加，即特征曲线变陡之时，就是决定因素个数之时。

主成分分析与因素分析的区别

1. 因素分析目的是从数据中探查能对变量起解释作用的因子，及其组合系数；主成分分析只是寻找能够解释诸多变量变异大部分的几组彼此不想关的变量。
2. 因素分析把变量表示成因素的线性组合；主成分分析是把主成分表示成变量的线性组合。
3. 因素分析需要一些假设；主成分分析不用。
4. 因素分析抽取因素有许多方法；主成分分析只有一种。
5. 因素可以进行旋转；主成分一般是固定的。
6. 因素的数量要分析者假定；主成分分析则不需要。
7. 由于可以使用因素旋转帮助解释因素，与主成分分析相比，解释方面因素分析更有优势。

多元统计分析初步

多元线性回归分析

1. 多元回归及相关概念：在回归分析中，若有两个或以上的自变量，就成为多元回归。

在需要用多个计量资料的自变量来解释单个计量资料的因变量时，多元回归是最适合的选择；它能提供多个自变量对因变量的函数关系、提供多个备选的函数关系、提供每个关系式对实验数据的解释能力，研究者可以结合自己的理论语气，据此做出选择。

1. 线性回归模型的基本假设：
2. 解释变量X是确定变量，不是随机变量。
3. 解释变量之间互不相关，即无多重共线性。
4. 随机误差服从0均值、同方差的正态分布，且不存在序列相关关系。
5. 随机误差与解释变量间不相关。
6. 自变量的诊断及选择：
7. 在进行回归分析之前，需要确定自变量是否符合基本假设，这就是诊断过程，一般需要经过异常点诊断（检测是否有个别观测点与多数观测点偏离很远，或出现过失误差）和共线性诊断（若自变量之间有较强相关关系，将很难求得理想回归方程，共线性诊断便是先对自变量间的先惯性作出的判断与剔除。）
8. 自变量的选择方法有许多种，基本上都是基于决定系数R最大原则：最优方程选择法；同时分析法（标准回归）；逐步分析法（顺向进入法-向前回归、从无到有，反向淘汰法-向后回归、逐一剔除）；逐步回归法（先顺向进入，再反向淘汰）；阶层分析法（分层回归）；最大R增值法（先找到最大的回归方程，再增加变量）；最小R增值法等。

主成分分析

1. 基本思想：利用降维的思想，在损失很少信息的前提下把多个指标化为几个综合指标；通常把转化生成的综合指标成为主成分，这样在研究复杂问题时，就可以只考虑几个少数的成分又不至于损失太多信息，从而更容易抓住主要矛盾，解释事物内部变量之间的规律性。
2. 一般地说，利用主成分分析得到的主成分与变量之间有如下关系：

A.每一个主成分都是各原始变量的线性组合；

B.主成分的数目大大少于原始变量的数目；

C.主成分保留了原始变量的绝大多数信息；

D.各主成分间互不相关，即无多重共线性。