在处理测量数据时，经常要研究变数与变数之间的关係。变数之间的关係一般分为两种。一种是完全确定关係，即函式关係；一种是相关关係，即变数之间既存在着密切联繫，但又不能由一个或多个变数的值求出另一个变数的值。例如，学生对于高等数学、机率与统计、普通物理的学习，会对统计物理的学习产生影响，它们虽然存在着密切的关係，但很难从前几门功课的学习成绩来精确地求出统计物理的学习成绩。但是，对于彼此联繫比较紧密的变数，人们总希望建立一定的公式，以便变数之间互相推测。回归分析的任务就是用数学表达式来描述相关变数之间的关係。

1、多元回归是指一个因变数（预报对象）,多个自变数（预报因子）的回归模型。基本方法是根据各变数值算出交叉乘积和 。

2、这种包括两个或两个以上自变数的回归称为多元回归。套用此法，可以加深对定性分析结论的认识，并得出各种要素间的数量依存关係，从而进一步揭示出各要素间内在的规律。一般来说，多元回归过程能同时提供多个备选的函式关係式，并提供每个关係式对实验数据的理解能力，研究者可以结合自己的理论预期，据此作出选择。

相关变数之间的关係可以是线性的，也可以是非线性的。这里只讨论多元线性回归。设 是p个可以精确测量或可控制的变数。如果变数y与 之间的内在联繫是线性的，那幺进行n次试验，则可得n组数据：

它们之间的关係可表示为：

………………

其中， 是p+l个待估参数，εi表示第i次试验中的随机因素对yi的影响。为简便起见，将此n个方程表示成矩阵形式：

其中

上式便是p元线性回归的数学模型。

为了求出多元线性回归模型中的参数 ,可採用最小二乘法，即在其数学模型所属的函式类中找一个近似的函式，使得这个近似函式在已知的对应数据上儘可能和真实函式接近。

设 分别是 的最小二乘估计，则多元回归方程（即近似函式）为:

其中 叫做回归方程的回归係数。对每一组,由回归方程可以确定一个回归值。这个回归值与实际观测值之差，反映了与回归直线

的偏离程度。若对所有的观测数据， 与 (I=1,2,…,n)的偏离越小，则认为回归直线与所有试验点拟合得越好。全部观测值 与回归值 的偏差平方和为：

根据微分学中的极值原理 应是下列方程组的解：

通过整理可将上述方程组写成如下形式：

其中， ，称为回归方程的係数矩阵，X'是X的转置矩阵。当X'X满秩时，逆矩阵(X'X)-1存在，係数矩阵C可以表示为：

上式即为回归模型中参数B的最小二乘估计。至此，我们就得到了p元线性回归方程。

建立回归方程的目的是要利用它来进行预报与控制。在实际问题中，事先并不能断定随机变数y与 之间确有线性关係，在求解回归方程前，线性回归模型只是一种假设，所以在求出线性回归方程之后，还需对其进行统计检验，给以肯定或否定的结论。有关回归方程及回归係数的显着性检验问题，这里就不介绍了。

由于线性回归方程比较简单，所以在遇到非线性模型时，最好将其转换为线性模型。

（1）多项式模型

多项式模型为 ，

对方程中的变数作如下变换

则原方程变为，

就可用线性模型的方法处理。

（2）指数模型指数模型为：

方程两边取对数得：

令

则可得线性方程

（3）幂函式模型幂函式模型为：

方程两边取对数得

令　

则幂函式模型就变为线性模型

（4）成长曲线模型

成长曲线模型在经济、教育和心理研究中都非常有用，其数学表达式为：

令　 ,

它就转化为线性模型：　

(1) 确定几个特定的变数之间是否存在相关关係，如果存在的话，找出它们之间合适的数学表达式；

(2) 根据一个或几个变数的值， 预测或控制另一个变数的取值，并且可以知道这种预测或控制能达到什幺样的精确度；

(3) 进行因素分析。例如在对于共同影响一个变数的许多变数(因素)之间，找出哪些是重要因素，哪些是次要因素，这些因素之间又有什幺关係等等。