营销中存在的问题及对策_湖北宜昌疫情最新消息_个人对网络营销的看法_淘宝seo优化是什么

本文是对《机器学习数学基础》第2章2.1.5节矩阵乘法内容的补充和扩展。通过本节内容，在原书简要介绍矩阵乘法的基础上，能够更全面、深入理解矩阵乘法的含义。

在2.1.5节中，给出了矩阵乘法最基本的定义，令矩阵 $A=(a_{ij}{)}_{m\times r}$ 和矩阵 $B=(b_{ij}{)}_{r\times n}$ 相乘，定义乘积 $AB$ 中 $(AB{)}_{ij}$ 为：

$$(AB{)}_{ij}=\left[\begin{array}{ccc}{a}_{i1}& \cdots & a_{ir}\end{array}\right]\left[\begin{array}{c}{b}_{1j}\\ \cdots \\ b_{rj}\end{array}\right]=a_{i1}{b}_{1j}+\cdots +a_{1r}{b}_{rj}$$

这种定义的方法便于手工计算——手工计算，在计算机流行的现在，并非特别重要。所以，现在更应该深入理解矩阵乘法的数学含义，所以，再拓展如下内容。

1. 以列向量作为计算单元

1.1 定义 $Ax$

以列向量表示矩阵 $A=\left[\begin{array}{ccc}{a}_1& \cdots & a_n\end{array}\right]$ ，设一维列向量 $x=\left[\begin{array}{c}{x}_1\\ ⋮\\ x_2\end{array}\right]$ 。

矩阵与向量的乘法 $Ax$ 定义为 $A$ 的列向量 $a_1,\cdots ,a_n$ 的线性组合，$x_1,\cdots ,x_2$ 为组合的系数或权重，即：

$$Ax=\left[\begin{array}{ccc}{a}_1& \cdots & a_n\end{array}\right]\left[\begin{array}{c}{x}_1\\ ⋮\\ x_2\end{array}\right]=a_1{x}_1+\cdots +a_n{x}_n$$

按照习惯，把标量写在向量前面（左边）：

$$Ax=x_1{a}_1+\cdots +x_n{a}_n\text{\hspace{1em}(1.1)}$$

根据这种定义，比较容易理解线性方程与子空间、线性无关等有关概念。

例1

$Ax=0$ ，如果只有平凡解，即 $x=0$ ，根据（1.1）式可知，$A$ 的列向量线性无关（关于线性相关和线性无关的概念，请参阅《机器学习数学基础》第1章1.2.3节）。

例2

对于 $Ax=b$ 有解的充要条件，根据（1.1）式可知：

$$x_1{a}_1+\cdots +x_n{a}_n=b$$

即 $b$ 是 $a_1,\cdots ,a_n$ 的线性组合，所以 $b$ 应该属于 $A$ 的列空间。

1.2 定义 $AB$

利用（1.1）式的理解，可以显示 $T(x)=Ax$ 是一个线性变换${}^{[2]}$ 。

设线性变换 $T:{\mathbb{F}}^p\to {\mathbb{F}}^n$ 和 $S:{\mathbb{F}}^n\to {\mathbb{F}}^m$ ，将它们连接在一起，如下图所示：

其中 $x\in {\mathbb{F}}^p,T(x)\in {\mathbb{F}}^n,S(T(x))\in {\mathbb{F}}^n$ 。用 $S\circ T$ 表示复合线性变换（即符合函数，参阅函数），即：

$$(S\circ T)(x)=S(T(x))$$

可以表示为下图：

设线性变换 $T$ 的矩阵为 $n\times p$ 阶矩阵 $B$ ，线性变换 $S$ 的矩阵为 $m\times n$ 解矩阵 $A$ ，则：

$$S(T(x))=A(Bx)$$

所以，符合线性变换 $S\circ T$ 的矩阵由 $A$ 和 $B$ 来决定。

若定义：$P=AB$ ，即矩阵乘法。

令 $B$ 的列向量为 $b_1,\cdots ,b_p$ ，根据（1.1）式定义，可得：

$$Bx=\left[\begin{array}{ccc}{b}_1& \cdots & b_p\end{array}\right]\left[\begin{array}{c}{x}_1\\ ⋮\\ x_p\end{array}\right]=x_1{b}_1+\cdots +x_p{b}_p$$

则对于任意 $x\in {\mathbb{F}}^p$ ，有：

$$\begin{array}{rl}A(Bx)& =A(x_1{b}_1+\cdots +x_p{b}_p)\\ & =A(x_1{b}_1)+\cdots +A(x_p{b}_p)\\ & =x_1({Ab}_1)+\cdots +x_p({Ab}_p)\\ & =\left[\begin{array}{cc}{Ab}_1& \cdots {Ab}_p\end{array}\right]\left[\begin{array}{c}{x}_1\\ ⋮\\ x_p\end{array}\right]\\ & =\left[\begin{array}{cc}{Ab}_1& \cdots {Ab}_p\end{array}\right]x\end{array}$$

令上式等于 $(AB)x$ ，由于 $x$ 是一个任意向量，所以：

$$AB=\left[\begin{array}{cc}{Ab}_1& \cdots {Ab}_p\end{array}\right]\text{\hspace{1em}(1.2)}$$

所以，有 $Px=A(Bx)$ 。由此可知，$S\circ T$ 的矩阵即为 $AB$ ，并且说明亦为线性变换。

2. 以行向量作为计算单元

对于（1.2）式，等号两边同时取转置，得：

$$\begin{array}{rl}(AB{)}^T& ={\left[\begin{array}{cc}{Ab}_1& \cdots {Ab}_p\end{array}\right]}^T\\ & =\left[\begin{array}{c}(A{b}_1{)}^T\\ ⋮\\ ({Ab}_p{)}^T\end{array}\right]\\ & =\left[\begin{array}{c}{b_1}^T{A}^T\\ ⋮\\ b_p^T{A}^T\end{array}\right]\end{array}$$

又因为：$(AB{)}^T=B^T{A}^T$ ，故：

$$B^T{A}^T=\left[\begin{array}{c}{b_1}^T{A}^T\\ ⋮\\ b_p^T{A}^T\end{array}\right]$$

如果将 $B^T$ 和 $A^T$ 分别用 $A$ 和 $B$ 代替，则可得以行为计算单元的矩阵乘法。

定义 $AB$ 的第 $i$ 行等于 $B$ 的行向量的线性组合，$ro{w}_i(A)$ 的对应元即组合权重为：

$$ro{w}_i(AB)=ro{w}_i(A)B$$

或者写作：

$$AB=\left[\begin{array}{c}ro{w}_1(A)\\ ⋮\\ ro{w}_m(A)\end{array}\right]B=\left[\begin{array}{c}ro{w}_1(A)\cdot B\\ ⋮\\ ro{w}_m(A)\cdot B\end{array}\right]$$

在一般情况下，都是用列向量作为计算单元，用行向量的时候较少，除非特别说明或者某些特别用途。

3. 以行列展开

对于两个矩阵的乘法 $AB$ ，还可以表示成多个矩阵的和：

$$\begin{array}{rl}AB& =\left[\begin{array}{cc}{a}_1& \cdots a_n\end{array}\right]\left[\begin{array}{c}ro{w}_1(B)\\ ⋮\\ ro{w}_n(B)\end{array}\right]\\ & =a_{1}ro{w}_1(B)+\cdots +a_{n}ro{w}_n(B)\end{array}$$

这种方式的展开计算，在矩阵分解中会有重要应用（参阅《机器学习数学基础》第3章3.5.2节特征分解）。

设 $A$ 是实对称矩阵，则 $A={UDU}^T$ ，其中 $D$ 为对角矩阵，$D=diag(d_1,\cdots ,d_n)$ ，有：

$$\begin{array}{rl}A& ={UDU}^T\\ & =\left[\begin{array}{ccc}{u}_1& \cdots & u_n\end{array}\right]\left[\begin{array}{ccc}{d}_1& \cdots & 0\\ 0& \ddots & 0\\ 0& \cdots & d_n\end{array}\right]\left[\begin{array}{c}{u}_1^T\\ ⋮\\ u_n^T\end{array}\right]\\ & =\left[\begin{array}{ccc}{d}_1{u}_1& \cdots & d_n{u}_n\end{array}\right]\left[\begin{array}{c}{u}_1^T\\ ⋮\\ u_n^T\end{array}\right]\\ & =d_1{u}_1{u}_1^T+\cdots +d_n{u}_n{u}_n^T\end{array}$$

此外，还可以分块矩阵为单元，实现矩阵乘法计算，而事实上，上述以行或者列向量作为计算单元，亦可视为分块矩阵。此处不单独演示分块矩阵的计算。

在以上几种对矩阵乘法的理解中，其本质是采用不同的计算单元。这有助于我们将其他有关概念综合起来，从而加深对矩阵乘法的含义理解。

关于矩阵乘法的计算，除了手工计算之外，在《机器学习数学基础》中有详细的用Python实现计算的各种方法，也可以参阅[3]了解有关计算实现函数。

参考文献

[1]. https://ccjou.wordpress.com/2009/03/11/矩陣乘積的現代觀點/

[2]. https://ccjou.wordpress.com/2015/07/28/基本矩陣運算的定義/

[3]. 跟老齐学Python：数据分析. 齐伟. 北京：电子工业出版社