线性代数-3：矩阵的乘法和逆

本节课内容，矩阵的五种乘法，以及用Gauss-Jordan方法求矩阵的逆

矩阵的乘法

有五种乘法，结果显然是一致的，矩阵相乘的前提，如AB，A的列和B的行要相等，C = AB，A拥有m行，n列；B拥有n行，p列；而C就会有m行，p列

1. 最常见的乘法，行 * 列

2. 矩阵 * 列的方法

我们都知道，矩阵*向量得到向量。A*B的列1，得到C的列1，其余的部分不参与次运算，A*B的列2，得到C的列2，扩展开来，C中的列是A中的列的线性组合，矩阵乘法可以看做是A与一个个列相乘的p个向量组合在一起。而A乘以向量，等价于A中列的线性组合，而向量B的列说明了如何组合，这点很重要。在linear regression，的feature的组合中经常用到这种解释，A的列对应某一维特征的值，而向量则表明了每一维特征的权重。

3. 行 * 矩阵的方法

同上面的方法比较类似，即C中的行，是B中的行的线性组合

4. 列 * 行的相加

这算是一种比较非主流的方法，没列 * 行得到一个矩阵，多个矩阵相加得到最终相乘的结果

5. 分块矩阵乘法

第一种方法的拓展，将矩阵划分中多个block，像元素一样使用，记得相乘的block需要能够行列match

矩阵的逆（方阵）

矩阵是否可逆

如A=[1 3| 2 6] （如果取行列式，结果为0，还没学到）

一种解释：

假设A * B = I，I中的列是A中的列的线性组合，显然不可能，所有的线性组合都在直线上，但是1，0不在上面

另一种解释：

if i can find a vector X（非零向量），with AX = 0，这样的A 没有逆，这里可以得到X = [3 , -1]，证明如下：假设AX = 0，而且A有左逆A-1，则 A-1 ( AX) = 0，then X = [0, 0]，矛盾，因此A没有左逆

结论：

singular matrix（即不可逆矩阵）的列能通过线性组合（非零向量X）得到0

如何求得方阵的逆

方法如下 gauss-jordan idea（同时处理两个方程组），A * column j of A-1 = column j of I

求逆和求解方程组类似，尝试将A用消元法（先消元变成上三角阵，然后继续向上消元，即逆向）变成I，而左侧的I随着A做一样的操作，既可以得到A-1，可以检验一下，确实是A的逆

为什么能得到逆？本质上就是矩阵消元的方法，各种E，即E[A I] = [I ？] = [I E]，可以看出EA = I，so E就是A的逆，而右侧的？就是E

via WordPress http://www.econsh.com/2013/07/%e7%ba%bf%e6%80%a7%e4%bb%a3%e6%95%b0-3%ef%bc%9a%e7%9f%a9%e9%98%b5%e7%9a%84%e4%b9%98%e6%b3%95%e5%92%8c%e9%80%86/?utm_source=rss&utm_medium=rss&utm_campaign=%25e7%25ba%25bf%25e6%2580%25a7%25e4%25bb%25a3%25e6%2595%25b0-3%25ef%25bc%259a%25e7%259f%25a9%25e9%2598%25b5%25e7%259a%2584%25e4%25b9%2598%25e6%25b3%2595%25e5%2592%258c%25e9%2580%2586