机器学习中的数学知识

  |   0 评论   |   1,799 浏览

线性代数

向量(Vector)

既有大小又有方向的量叫作向量

image.png

向量的线性运算

image.png

向量空间(Vector Space)

向量空间是可以缩放和相加的(叫做向量的)对象的集合

5.png

三维空间示例

image.png

向量的模(Norm)

模就是大小

image.png

L-0 Norm

查向量当中有多少个数不为0

L-1 Norm

两点间的距离也叫曼哈顿距离

image.png

L-2 Norm

欧几里得距离

image.png

image.png

image.png

L-p Norm

image.png

L-infinity Norm

image.png

image.png

矩阵(Matrix)

image.png

转置

image.png

矩阵乘法

image.png

张量(Tensor)

在进行张量运算的时候,经常把张量当成多维数组进行计算

张量的例子

  • 1是一个0维张量/0维数组,又叫标量(scalar),形状为[]。

  • [1, 2, 3]是一个1维张量/1维数组,又叫向量(vector),形状为[3].

  • [[1, 2, 3], [4, 5, 6]]是一个2维张量/2维数组,又叫矩阵(matrix),形状为[2, 3]。

  • [[[1, 2, 3]], [[4, 5, 6]]]是一个3维张量/3维数组,有时候,张量特指3维以上的张量(低于3维的,如前所述,分别叫标量、向量、矩阵),形状为[2, 1, 3]。

柯西应力张量

6.png

行列式的值

代表平行四边形的面积

image.png

代表平行四边体的体积

image.png

image.png

特征值与特征向量

凸函数与凹函数

image.png

在函数线上任取2个点,作一条连线,如果函数曲线在该连线下,就为凸函数

7.png

标准差(Standard Deviation),又称均方差

随机变量的值与期望之间的距离的均值,就是标准差,有关期望的描述参考《随机变量的期望

方差开方就是标准差,标准差符号读西格玛

8.jpg

有了方差为什么需要标准差?

表示离散程度的数字与样本数据点的数量级一致,更适合对数据样本形成感性认知。比如一个班男生的平均身高是170cm,标准差是10cm,那么方差就是100cm^2。可以进行的比较简便的描述是本班男生身高分布是170±10cm,方差就无法做到这点。

表示离散程度的数字单位与样本数据的单位一致,更方便做后续的分析运算。

在样本数据大致符合正态分布的情况下,标准差具有方便估算的特性

  • 66.7%的数据点落在平均值前后1个标准差[μ-σ, μ+σ]的范围内

  • 95%的数据点落在平均值前后2个标准差[μ-2σ, μ+2σ]的范围内

  • 99%的数据点将会落在平均值前后3个标准差[μ-3σ, μ+3σ]的范围内

MSE均方误差(Mean Squared Error)

指参数估计值与参数真值之差平方的期望值

9.jpg

MSE可以评价数据的变化程度,MSE的值越小,说明预测模型描述实验数据具有更好的精确度。

协方差(Covariance)

如果有X,Y两个变量,每个时刻的“X值与其均值之差”乘以“Y值与其均值之差”得到一个乘积,再对这每时刻的乘积求和并求出均值(其实是求“期望”

10.jpg

可以通俗的理解为:两个变量在变化过程中是同方向变化?还是反方向变化?同向或反向程度如何?

你变大,同时我也变大,说明两个变量是同向变化的,这时协方差就是正的。

你变大,同时我变小,说明两个变量是反向变化的,这时协方差就是负的。

从数值来看,协方差的数值越大,两个变量同向程度也就越大。反之亦然。

image.png

随机变量组成的向量,其均值才是原点

相对独立的两个变量,其协方差为0,反之,协方差为0,不一定独立

协方差与分布之间的关系

image.png

相关系数(Correlation Coefficient)

用X、Y的协方差除以X的标准差和Y的标准差。

12.jpg

相关系数也可以看成协方差:一种剔除了两个变量量纲影响、标准化后的特殊协方差。

也可以反映两个变量变化时是同向还是反向,如果同向变化就为正,反向变化就为负。

由于它是标准化后的协方差,因此更重要的特性来了:它消除了两个变量变化幅度的影响,而只是单纯反应两个变量每单位变化时的相似程度

相关系数其实就是之前说的余弦距离,表示事物之间的相关性

11.jpg

  • 0<ρ=cos(θ)<=1则正相关

  • -1<=ρ=cos(θ)<0则负相关

  • ρ=cos(θ)=0则不相关

RMSE均方根误差(Root Mean Squared Error)

均方根误差是均方误差的算术平方根

均方根误差又叫标准误差

13.jpg

RMSE减的是实际值,MSE减的是均值

标准差是用来衡量一组数自身的离散程度,而均方根误差是用来衡量观测值同真值之间的偏差

MAE平均绝对误差(Mean Absolute Error)

平均绝对误差是绝对误差的平均值

15.jpg

平均绝对误差能更好地反映预测值误差的实际情况

SSE(和方差、误差平方和)(The sum of squares due to error)

拟合数据和原始数据对应点的误差的平方和

SSE越接近于0,说明模型选择和拟合更好,数据预测也越成功

14.jpg

SSR:Sum of squares of the regression

预测数据与原始数据均值之差的平方和

16.gif

SST:Total sum of squares

原始数据和均值之差的平方和

17.gif

R-square(确定系数)

“确定系数”是通过数据的变化来表征一个拟合的好坏。

18.gif

由上面的表达式可以知道“确定系数”的正常取值范围为[0 1],越接近1,表明方程的变量对y的解释能力越强,这个模型对数据拟合的也较好

R2方法是将预测值跟只使用均值的情况下相比,看能好多少。其区间通常在(0,1)之间。0表示还不如什么都不预测,直接取均值的情况,而1表示所有预测跟真实结果完美匹配的情况


读后有收获可以支付宝请作者喝咖啡