📝笔记：简明矩阵求导术之分子布局与分母布局

矩阵或者向量求导时经常会被分子/分母布局搞得头大，如什么时候转置，什么时候不转置。本文将简明介绍常用的矩阵/向量求导技巧。

简单例子

$a^{⊤} x$ 对向量 $x$ 求导，举个例子：

令：

a = [12]

x = [x_{1} x_{2}]

则：

a^{⊤} x = x_{1} + 2 x_{2}

于是

\frac{\partial a ^{⊤} x}{\partial x} = \frac{\partial ( x _{1} + 2 x _{2} )}{\partial x _{1}} \frac{\partial ( x _{1} + 2 x _{2} )}{\partial x _{2}} = [12] = a

注意，上述结果以分母布局进行排布，具体见后一节的一般形式。

$Ax$ 对向量 $x$ 求导，可以举一个具体的例子对求导过程进行推导。

令：

A = [1324]

x = [x_{1} x_{2}]

则：

Ax = [1324] [x_{1} x_{2}] = [x_{1} + 2 x_{2} 3 x_{1} + 4 x_{2}] = [f_{1} f_{2}]

所以，

\frac{\partial Ax}{\partial x} = [\frac{\partial f _{1}}{\partial x _{1}} \frac{\partial f _{1}}{\partial x _{2}} \frac{\partial f _{2}}{\partial x _{1}} \frac{\partial f _{2}}{\partial x _{2}}] = [1234] = A^{⊤} (分母布局)

或者，

\frac{\partial Ax}{\partial x} = [\frac{\partial f _{1}}{\partial x _{1}} \frac{\partial f _{2}}{\partial x _{1}} \frac{\partial f _{1}}{\partial x _{2}} \frac{\partial f _{2}}{\partial x _{2}}] = [1324] = A (分子布局)

上述求导结果的排列方式分别展示了分母布局与分子布局。

一般形式

向量一般可以被认为成一维矩阵，默认按列进行排列。向量对向量求导，如 $\partial y / \partial x$ ，其中：

y = [y_{1} \dots y_{m}]^{⊤}

以及：

x = [x_{1} \dots x_{n}]^{⊤}

于是 $\partial y / \partial x$ 是一个拥有 $m \times n$ 元素的矩阵，那么应该如何组织这个矩阵呢？目前有两种矩阵排列方式，它们分别是：分子布局（Numerator Layout）和分母布局（Denominator Layout）

分子布局

一句话就是按照分子的排列方式进行排列，分子原来怎样排列，求导之后的结果就怎样排列，如：

\frac{\partial y}{\partial x} = \frac{\partial y _{1}}{\partial x _{1}} ⋮ \frac{\partial y _{m}}{\partial x _{1}} \dots ⋱ \dots \frac{\partial y _{1}}{\partial x _{n}} ⋮ \frac{\partial y _{m}}{\partial x _{n}} \equiv \frac{\partial y}{\partial x ^{⊤}}

上式结果中，分子 $y$ 的每个元素是按照下标 $1 \dots m$ 按列排布，于是：

\frac{\partial y}{\partial x} \in R^{m \times n}

这种形式也被叫做雅可比矩阵（Jacobian matrix）。

当 $y$ 是标量， $x$ 是向量时：

\frac{\partial y}{\partial x} = [\frac{\partial y}{\partial x _{1}} \dots \frac{\partial y}{\partial x _{n}}] \equiv \frac{\partial y}{\partial x ^{⊤}}

上述分子布局在标量对向量的求导的数据排布中并不常见。

分母布局

\frac{\partial y}{\partial x} = \frac{\partial y _{1}}{\partial x _{1}} ⋮ \frac{\partial y _{1}}{\partial x _{n}} \dots ⋱ \dots \frac{\partial y _{m}}{\partial x _{1}} ⋮ \frac{\partial y _{m}}{\partial x _{n}}

上式结果中，分母 $x$ 的每个元素是按照下标 $1 \dots n$ 按列排布，于是：

\frac{\partial y}{\partial x} \in R^{n \times m}

当 $y$ 是标量， $x$ 是向量时：

\frac{\partial y}{\partial x} = \frac{\partial y}{\partial x _{1}} ⋮ \frac{\partial y}{\partial x _{n}}

这种标量对向量求导的情况非常常见，通常是以分母布局对求导结果进行排布。那么向量求导两种方式结果数据排布方式的图示效果如下图所示：

以分母布局为例，常用的矩阵求导公式有：

以上两种形式比较容易搞混（通常在是否使用转置之间徘徊），在使用时务必要说明使用哪种布局！但是实际读论文时很少看到作者写明到底用的哪种，此时需要结合上下文进行判断，推理出论文公式使用的何种布局。另外，值得说明的是，如果作者没有明确说明，自己又懒得看，这时候你可以认为作者使用了”混合布局”，具体地：

\frac{\partial y}{\partial x}

按照分子布局：

\frac{\partial y}{\partial x}

按照分母布局。

\frac{\partial x ^{⊤} a}{\partial x} \frac{\partial Ax}{\partial x} \frac{\partial x ^{⊤} Ax}{\partial x} \frac{\partial u ^{⊤}}{\partial x} = a = A^{⊤} = (A + A^{⊤}) x = (\frac{\partial u}{\partial x})^{⊤}

这里有个小技巧，即分母布局中要加个转置，这是为什么呢？因为分母布局中要求按照分母的排列方式进行组织（一般为列），而分子呢，则”被迫”需要进行转置，反映在求导结果上也就需要转置。

当 $W$ 为对称矩阵时，我们有如下公式：

\frac{\partial}{\partial s} (x - As)^{T} W (x - As) \frac{\partial}{\partial x} (x - s)^{T} W (x - s) \frac{\partial}{\partial s} (x - s)^{T} W (x - s) \frac{\partial}{\partial x} (x - As)^{T} W (x - As) \frac{\partial}{\partial A} (x - As)^{T} W (x - As) = - 2 A^{T} W (x - As) = 2 W (x - s) = - 2 W (x - s) = 2 W (x - As) = - 2 W (x - As) s^{T}

小节

向量对向量求导

标量对向量求导

特别需要注意的是：

\frac{\partial u ^{⊤} v}{\partial x} \frac{\partial u ^{⊤} v}{\partial x} = u^{⊤} \frac{\partial v}{\partial x} + v^{⊤} \frac{\partial u}{\partial x} (分子布局) = \frac{\partial u}{\partial x} v + \frac{\partial v}{\partial x} u (分母布局)

应用

最小化误差 $E$ ：

其中 $u = u (x)$ ， $v = v (x)$ ：

u^{⊤} v

为标量。

E = i = 1 \sum n (a_{i}^{⊤} x - b_{i})^{2} = ∣ Ax - b ∣^{2}

推导过程如下：

E = ∣ Ax - b ∣^{2} = (Ax - b)^{⊤} (Ax - b) = (x^{⊤} A^{⊤} - b^{⊤}) (Ax - b) = x^{⊤} A^{⊤} Ax - x^{⊤} A^{⊤} b - b^{⊤} Ax + b^{⊤} b

我们对每项进行求导：

\frac{\partial ( x ^{⊤} A ^{⊤} Ax )}{\partial x} \frac{\partial ( x ^{⊤} A ^{⊤} b )}{\partial x} \frac{\partial ( b ^{⊤} Ax )}{\partial x} \frac{\partial ( b ^{⊤} b )}{\partial x} = (A^{⊤} A + A^{⊤} A) x = 2 A^{⊤} Ax = A^{⊤} b = (b^{⊤} A)^{⊤} = A^{⊤} b = 0

所以：

\frac{\partial E}{\partial x} = 2 A^{⊤} Ax - A^{⊤} b - A^{⊤} b + 0 = 2 A^{⊤} Ax - 2 A^{⊤} b

令：

\frac{\partial E}{\partial x} = 0

我们有：

2 A^{⊤} Ax - 2 A^{⊤} b A^{⊤} Ax x = 0 = A^{⊤} b = (A^{⊤} A)^{- 1} A^{⊤} b

$x = (A^{⊤} A)^{- 1} A^{⊤} b$ 就是上述线性最小二乘问题的解。

参考

Matrix Differentiation in Lecture CS5240 Theoretial Foundations in Multimedia, pdf
Matrix Cookbook, pdf
Matrix calculus, wiki
Vector/Matrix Calculus — More notes on matrix differentiation
Matrix Differentiation — Randal J. Barnes, University of Minnesota
Matrix Calculus(一款矩阵求导计算器)