如何阅读

在知乎周刊上看到一篇文章如何集中精神看资料？，受益匪浅，尤其是排名第二的@warfalcon的回答，更多地具体化了方法论，而不是逼格的东西。作者也在自己的blog上面整理了下，可以参考这里。

鉴于文中多次提到思维导图的重要性和优势，我这里把文章论述的主要观点用思维导图整理出来，也算活学活用。

上图（xmind所作，模板自己定制），点击可以看大图：

via WordPress http://ift.tt/1ku4lV7

线性代数-6：列空间和零空间

本节主要关注列空间（column space）和零空间 （null space）

子空间

子空间首先必须是向量空间，而且在另一个空间之中，即subspace 是vector space中的vector space。举例子，来看R^3的子空间，首先R^3是向量空间，R^3的subspace，如任意穿过原点的平面任意穿过原点的置信

子空间的交和并，假如有两个subspace，plane P和line L

∪：P U L是subspace吗？no，简单的可以找到vector加法不封闭

∩：P ∩ L是subspace吗？yes，交集要么是原点，要么是过原点的line

更一般的问题，Subspace S 和Ｔ，intersection S ∩ T is a subspace

证明：

• v和w是属于S ∩ T的


• 因此v和w属于S，而S是subspace，因此v + w是属于S的


• 同理v + ｗ是属Ｔ的


• 因此v + w是属于S∩T的


• 即加法的条件是满足的，乘法的条件类似可以证明

强调一下vector space的条件

v + w 和 CV are in the space

vector space的列向量的线性组合还在vector space中

列空间C(A) colunm space of A

column space of matrix A is all linear combinations of columns

那么究竟是什么样的子空间呢？是整个R^4还是小一点的真子空间？到底有多小？显然不是整个空间，只是一部分（，3个列向量的线性组合无法充满整个4维空间。），在上图中，C(A)是A的列的线性组合。

同方程组量联系起来 Ax = b，对哪些b方程有解？并不是总有解的，因为对于上面的A，有4个方程和3个未知数。什么样的b才能让方程组有解？如b=全0，b是A中的某一列，也可以先把x列出来，然后去求b，也即有解的b的条件及是b是A的列空间的向量，因为Ax即A列的线性组合。

此外，观察一下，这3列向量是线性相关的，去掉某一列仍然可以组成之前的向量空间，如列三

C(A)是R^4的一个2维的subspace。

零空间N(A) null space of A

还是用A来举例子N(A)，null space是一个很特殊的space，null space of A = all solutions x to Ax=0

首先从x可以看出，是R^3中的空间，下面来看看解有哪些，零向量显然是，又如[1, 1, -1]，扩展为，即一条直线c[1, 1, -1]，是一个subspace，可以通过前面的条件来check，比较简单，如下，假设v和w在零空间，Av = 0，Aw = 0，则A（v+w）= 0，那么v+w也在零空间，数乘类似

向量空间的关键

对于某个b，非0，不再考虑null space

如果有解，解构成子空间吗？显然不构成，因为显然的解中不包含原点，因此不是向量空间

那么是什么样的呢？[1, 0, 0]是一个解，[0, -1, 1]也是一个解，他们可能是一个不穿过原点的直线或者平面

总结，两种得到subspace的方法

可以从几个向量，通过线性组合，得到b，列空间

也可以从一个方程组中让x满足某种条件来找到子空间，如Ax=0，得到x，零空间。

via WordPress http://www.econsh.com/2013/08/%e7%ba%bf%e6%80%a7%e4%bb%a3%e6%95%b0-6%ef%bc%9a%e5%88%97%e7%a9%ba%e9%97%b4%e5%92%8c%e9%9b%b6%e7%a9%ba%e9%97%b4/?utm_source=rss&utm_medium=rss&utm_campaign=%25e7%25ba%25bf%25e6%2580%25a7%25e4%25bb%25a3%25e6%2595%25b0-6%25ef%25bc%259a%25e5%2588%2597%25e7%25a9%25ba%25e9%2597%25b4%25e5%2592%258c%25e9%259b%25b6%25e7%25a9%25ba%25e9%2597%25b4

线性代数-5：转置-置换-向量空间R

本节的内容有三部分

• 置换permutations


• 转置transpose


• 然后真正进入线代的大门，向量空间

Permutations

置换矩阵P，用来完成行互换的矩阵（如消元，遇到主元为0的时候），之前我们做的A=LU分解，是假设了没有行变化，这里面的P本质上相当于单位阵，限制取消限制，怎么做？

PA = LU，先做P变化，将A变成主元不会出现0的情况，这样LU可以和以前一样，因此P是关键，P = identity matrix with reordered rows

有n！种n * n的置换阵，一些性质，而且都可逆，并且逆矩阵于其转置相等PT * P = I

Transpose

转置（后续为了方便，记做P’，像matlab一样）

行列互换，共识如下

相关的一个应用广泛的矩阵是对称矩阵，对称矩阵（A’ = A），转置不变性

可以轻易造一个对称阵出来，如将上面的A’ * A，R’R is always symmetric，例子

理论上证明(R’R)’ = R’(R’)’ = R’R

向量空间R

Vector spaces

举例R^2，是一个平面，所有2维向量组成的空间，所有向量空间必须包括原点，向量运算结果页在该向量所在的空间

R^n 包含所有的n维向量，这里的向量都是column vector

性质：数乘，向量加法，取线性组合依然在R^n中，即封闭的

R^2的一个部分不能称为向量空间，比如第一象限，只有整数，运算不是封闭的

我们关注的更多的是R^n的子空间，它不是整个R^n，但是满足向量空间的性质，如在R^2中的一条过原点的直线，满足向量空间的性质，就是向量空间，这就是子空间的一个例子。但是不过原点的就不是，因为数乘0得到的是原点

subspace of R^2

1. all of R^2本身


2. 过原点的直线


3. 原点

R^3的比较类似，比如过原点的面和直线，其他，如在R^3中

取两列向量的所有线性组合，可以得到一个向量空间，叫column space C(A)，结果是整个平面（在这个维度很自然可以看出，高维较难），当然通过原点。

本讲的核心，列向量的线性组合可以构成向量子空间

via WordPress http://www.econsh.com/2013/08/%e7%ba%bf%e6%80%a7%e4%bb%a3%e6%95%b0-5%ef%bc%9a%e8%bd%ac%e7%bd%ae-%e7%bd%ae%e6%8d%a2-%e5%90%91%e9%87%8f%e7%a9%ba%e9%97%b4r/?utm_source=rss&utm_medium=rss&utm_campaign=%25e7%25ba%25bf%25e6%2580%25a7%25e4%25bb%25a3%25e6%2595%25b0-5%25ef%25bc%259a%25e8%25bd%25ac%25e7%25bd%25ae-%25e7%25bd%25ae%25e6%258d%25a2-%25e5%2590%2591%25e9%2587%258f%25e7%25a9%25ba%25e9%2597%25b4r

线性代数-3：矩阵的乘法和逆

本节课内容，矩阵的五种乘法，以及用Gauss-Jordan方法求矩阵的逆

矩阵的乘法

有五种乘法，结果显然是一致的，矩阵相乘的前提，如AB，A的列和B的行要相等，C = AB，A拥有m行，n列；B拥有n行，p列；而C就会有m行，p列

1. 最常见的乘法，行 * 列

2. 矩阵 * 列的方法

我们都知道，矩阵*向量得到向量。A*B的列1，得到C的列1，其余的部分不参与次运算，A*B的列2，得到C的列2，扩展开来，C中的列是A中的列的线性组合，矩阵乘法可以看做是A与一个个列相乘的p个向量组合在一起。而A乘以向量，等价于A中列的线性组合，而向量B的列说明了如何组合，这点很重要。在linear regression，的feature的组合中经常用到这种解释，A的列对应某一维特征的值，而向量则表明了每一维特征的权重。

3. 行 * 矩阵的方法

同上面的方法比较类似，即C中的行，是B中的行的线性组合

4. 列 * 行的相加

这算是一种比较非主流的方法，没列 * 行得到一个矩阵，多个矩阵相加得到最终相乘的结果

5. 分块矩阵乘法

第一种方法的拓展，将矩阵划分中多个block，像元素一样使用，记得相乘的block需要能够行列match

矩阵的逆（方阵）

矩阵是否可逆

如A=[1 3| 2 6] （如果取行列式，结果为0，还没学到）

一种解释：

假设A * B = I，I中的列是A中的列的线性组合，显然不可能，所有的线性组合都在直线上，但是1，0不在上面

另一种解释：

if i can find a vector X（非零向量），with AX = 0，这样的A 没有逆，这里可以得到X = [3 , -1]，证明如下：假设AX = 0，而且A有左逆A-1，则 A-1 ( AX) = 0，then X = [0, 0]，矛盾，因此A没有左逆

结论：

singular matrix（即不可逆矩阵）的列能通过线性组合（非零向量X）得到0

如何求得方阵的逆

方法如下 gauss-jordan idea（同时处理两个方程组），A * column j of A-1 = column j of I

求逆和求解方程组类似，尝试将A用消元法（先消元变成上三角阵，然后继续向上消元，即逆向）变成I，而左侧的I随着A做一样的操作，既可以得到A-1，可以检验一下，确实是A的逆

为什么能得到逆？本质上就是矩阵消元的方法，各种E，即E[A I] = [I ？] = [I E]，可以看出EA = I，so E就是A的逆，而右侧的？就是E

via WordPress http://www.econsh.com/2013/07/%e7%ba%bf%e6%80%a7%e4%bb%a3%e6%95%b0-3%ef%bc%9a%e7%9f%a9%e9%98%b5%e7%9a%84%e4%b9%98%e6%b3%95%e5%92%8c%e9%80%86/?utm_source=rss&utm_medium=rss&utm_campaign=%25e7%25ba%25bf%25e6%2580%25a7%25e4%25bb%25a3%25e6%2595%25b0-3%25ef%25bc%259a%25e7%259f%25a9%25e9%2598%25b5%25e7%259a%2584%25e4%25b9%2598%25e6%25b3%2595%25e5%2592%258c%25e9%2580%2586

线性代数-2：矩阵消元

本节课的主要内容如下

• elimination 消元


• back-substitution 回代


• elimination matrices 消元矩阵


• matrix multiplication 矩阵乘法

消元

矩阵消元法解方程，也是计算机程序使用的方法；消元法奏效的情况，matrix is a good matrix；使用矩阵消元，既可以知道矩阵是不是一个好矩阵。消元后，回代，即可求解方程

我们本次要解决的AX = b

第一步

消元的目的，消去某个未知变量

先确定第一个主元（pivot）x，如A11，消去方程二和三种中的x，主元行不变，对第二行进行消元（行二减去主元行的某个倍数）

消元的时候可以先不管右侧矩阵，先看左侧（matlab也是这么做的，先算左侧A，再算右侧b）

第二个主元是A22，想消去方程三种的y，即3,2 step

第三个主元是A33

U 上三角矩阵，消元的目的是从A得到U

主元不能为0，为0即fail了，上面的success了，下面讨论下failure的消元，即得不到三个主元

如果0占据了主元的位置，需要做行交换，从下面的方程得到合适的主元，如果某行最终都为0了，则矩阵不可逆（下节课的内容），消元就fail了，行交换解决主元为0的临时问题，但是假如下面也没有可交换的行了，那么消元就fail了

回代

首先将右侧向量带入，将右侧向量放到矩阵中（最右列），即增广矩阵augmented matrix,对这一列的每行做消元时候相同的操作

回代就是把新的矩阵转换成方程组，UX=c算出未知数的值，从下网上，依次算出z y x，是反向的。

消元矩阵

矩阵变化，虽然之前在用矩阵，但是之前的操作，即消元步骤，并不是用矩阵来表示，下面就引入消元矩阵的概念。

矩阵乘法的一些思想

matirx * column = column

row * matrix = row

一步一步来，每次一个消元矩阵，下面是第一个消元矩阵

上图左为elementary matrix 即初等矩阵E21，表示位置目的把2 1 变成0。

然后是第二个消元矩阵

两步，消元就完成了。

其他：

把上面的消元矩阵结合起来如下

上式即矩阵相乘的结合律。

还有另一种初等矩阵，用于交换行的，or 置换，行交换，列交互，都可以使用单位阵来找置换矩阵

置换行的单位阵在左侧，置换列的单位阵在右侧。

同时引入矩阵的逆：

via WordPress http://www.econsh.com/2013/07/%e7%ba%bf%e6%80%a7%e4%bb%a3%e6%95%b0-2%ef%bc%9a%e7%9f%a9%e9%98%b5%e6%b6%88%e5%85%83/?utm_source=rss&utm_medium=rss&utm_campaign=%25e7%25ba%25bf%25e6%2580%25a7%25e4%25bb%25a3%25e6%2595%25b0-2%25ef%25bc%259a%25e7%259f%25a9%25e9%2598%25b5%25e6%25b6%2588%25e5%2585%2583