大家好，又见面了，我是你们的朋友全栈君。
来写一个softmax求导的推导过程，不仅可以给自己理清思路，还可以造福大众，岂不美哉~
softmax经常被添加在分类任务的神经网络中的输出层，神经网络的反向传播中关键的步骤就是求导，从这个过程也可以更深刻地理解反向传播的过程，还可以对梯度传播的问题有更多的思考。
softmax 函数
softmax(柔性最大值)函数，一般在神经网络中， softmax可以作为分类任务的输出层。其实可以认为softmax输出的是几个类别选择的概率，比如我有一个分类任务，要分为三个类，softmax函数可以根据它们相对的大小，输出三个类别选取的概率，并且概率和为1。
softmax函数的公式是这种形式：
S i = e z i ∑ k e z k S_i = \frac{e^{z_i}}{\sum_k{e^{z_k}}} Si=∑kezkezi
S i S_i Si代表的是第i个神经元的输出。
ok，其实就是在输出后面套一个这个函数，在推导之前，我们统一一下网络中的各个表示符号，避免后面突然出现一个什么符号懵逼推导不下去了。
首先是神经元的输出，一个神经元如下图：
神经元的输出设为：
z i = ∑ j w i j x i j + b z_i = \sum_j{w_{ij} x_{ij} + b} zi=j∑wijxij+b
其中 w i j w_{ij} wij是第 i i i个神经元的第 j j j个权重， b b b是偏移值。 z i z_i zi表示该网络的第 i i i个输出。
给这个输出加上一个softmax函数，那就变成了这样：
a i = e z i ∑ k e z k a_i = \frac{e^{z_i}}{\sum_k{e^{z_k}}} ai=∑kezkezi
a i a_i ai代表softmax的第i个输出值，右侧就是套用了softmax函数。
损失函数 loss function
在神经网络反向传播中，要求一个损失函数，这个损失函数其实表示的是真实值与网络的估计值的误差，知道误差了，才能知道怎样去修改网络中的权重。
损失函数可以有很多形式，这里用的是交叉熵函数，主要是由于这个求导结果比较简单，易于计算，并且交叉熵解决某些损失函数学习缓慢的问题。交叉熵的函数是这样的：
C = − ∑ i y i ln a i C = -\sum_i{y_i \ln {a_i}} C=−i∑yilnai
其中 y i y_i yi表示真实的分类结果。
到这里可能嵌套了好几层，不过不要担心，下面会一步步推导，强烈推荐在纸上写一写，有时候光看看着看着就迷糊了，自己边看边推导更有利于理解~
最后的准备
在我最开始看softmax推导的时候，有时候看到一半不知道是怎么推出来的，其实主要是因为一些求导法则忘记了，唉~
所以这里把基础的求导法则和公式贴出来~有些忘记的朋友可以先大概看一下：
推导过程
好了，这下正式开始~
首先，我们要明确一下我们要求什么，我们要求的是我们的loss对于神经元输出( z i z_i zi)的梯度，即：
∂ C ∂ z i \frac{\partial C}{\partial z_i} ∂zi∂C
根据复合函数求导法则：
∂ C ∂ z i = ∑ j ( ∂ C j ∂ a j ∂ a j ∂ z i ) \frac{\partial C}{\partial z_i} = \sum_j{( \frac{\partial C_j}{\partial a_j} \frac{\partial a_j}{\partial z_i})} ∂zi∂C=j∑(∂aj∂Cj∂zi∂aj)
由于有些朋友对于之前的写法有些疑惑，所以我这里修改了一下，这里为什么是 a j a_j aj而不是 a i a_i ai，这里要看一下softmax的公式了，因为softmax公式的特性，它的分母包含了所有神经元的输出，所以，对于不等于i的其他输出里面，也包含着 z i z_i zi，所有的 a a a都要纳入到计算范围中，并且后面的计算可以看到需要分为 i = j i = j i=j和 i ≠ j i \neq j i=j两种情况求导。
下面我们一个一个推：
∂ C j ∂ a j = ∂ ( − y j ln a j ) ∂ a j = − y j 1 a j \frac{\partial C_j}{\partial a_j} = \frac{\partial (-y_j \ln {a_j})}{\partial a_j} = -y_j \frac{1}{a_j} ∂aj∂Cj=∂aj∂(−yjlnaj)=−yjaj1
第二个稍微复杂一点，我们先把它分为两种情况：
①如果 i = j i = j i=j：
∂ a i ∂ z i = ∂ ( e z i ∑ k e z k ) ∂ z i = ∑ k e z k e z i − ( e z i ) 2 ( ∑ k e z k ) 2 = ( e z i ∑ k e z k ) ( 1 − e z i ∑ k e z k ) = a i ( 1 − a i ) \frac{\partial a_i}{\partial z_i} = \frac{\partial ( \frac{e^{z_i}}{\sum_k{e^{z_k}}})} {\partial z_i}= \frac{\sum_k{e^{z_k}e^{z_i} – (e^{z_i})^2}}{(\sum_k{e^{z_k} })^2 } = ( \frac{e^{z_i}}{\sum_k{e^{z_k}}})(1 – \frac{e^{z_i}}{\sum_k{e^{z_k}}}) = a_i(1-a_i) ∂zi∂ai=∂zi∂(∑kezkezi)=(∑kezk)2∑kezkezi−(ezi)2=(∑kezkezi)(1−∑kezkezi)=ai(1−ai)
②如果 i ≠ j i \neq j i=j：
∂ a j ∂ z i = ∂ ( e z j ∑ k e z k ) ∂ z i = − e z j ( 1 ∑ k e z k ) 2 e z i = − a i a j \frac{\partial a_j}{\partial z_i} = \frac{\partial ( \frac{e^{z_j}}{\sum_k{e^{z_k}}})} {\partial z_i} = -e^{z_j}(\frac{1}{\sum_k{e^{z_k}}})^2e^{z_i} = -a_ia_j ∂zi∂aj=∂zi∂(∑kezkezj)=−ezj(∑kezk1)2ezi=−aiaj
ok，接下来我们只需要把上面的组合起来：
∂ C ∂ z i = ∑ j ( ∂ C j ∂ a j ∂ a j ∂ z i ) = ∑ j ≠ i ( ∂ C j ∂ a j ∂ a j ∂ z i ) + ∑ i = j ( ∂ C j ∂ a j ∂ a j ∂ z i ) \frac{\partial C}{\partial z_i} = \sum_j{( \frac{\partial C_j}{\partial a_j} \frac{\partial a_j}{\partial z_i})} = \sum_{j \neq i}{( \frac{\partial C_j}{\partial a_j} \frac{\partial a_j}{\partial z_i})} + \sum_{i =j}{( \frac{\partial C_j}{\partial a_j} \frac{\partial a_j}{\partial z_i})} ∂zi∂C=j∑(∂aj∂Cj∂zi∂aj)=j=i∑(∂aj∂Cj∂zi∂aj)+i=j∑(∂aj∂Cj∂zi∂aj)
= ∑ j ≠ i − y j 1 a j ( − a i a j ) + ( − y i 1 a i ) ( a i ( 1 − a i ) ) =\sum_{j \neq i}{-y_j \frac{1}{a_j}(-a_ia_j)} + (-y_i \frac{1}{a_i})(a_i(1-a_i)) \quad\quad =j=i∑−yjaj1(−aiaj)+(−yiai1)(ai(1−ai))
= ∑ j ≠ i a i y j + ( − y i ( 1 − a i ) ) =\sum_{j \neq i}{a_iy_j} + (-y_i(1-a_i)) \quad\quad\quad\quad\quad\quad\quad\quad\quad =j=i∑aiyj+(−yi(1−ai))
= ∑ j ≠ i a i y j + a i y i − y i =\sum_{j \neq i}{a_iy_j} + a_iy_i – y_i \quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad =j=i∑aiyj+aiyi−yi
= a i ∑ j y j − y i =a_i\sum_j{y_j} – y_i \quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\ \ =aij∑yj−yi
最后的结果看起来简单了很多，最后，针对分类问题，我们给定的结果 y i y_i yi最终只会有一个类别是1，其他类别都是0，因此，对于分类问题，这个梯度等于：
∂ C ∂ z i = a i − y i \frac{\partial C}{\partial z_i} = a_i – y_i ∂zi∂C=ai−yi
发布者：全栈程序员-用户IM，转载请注明出处：https://javaforall.cn/153109.html原文链接：https://javaforall.cn
【正版授权，激活自己账号】： Jetbrains全家桶Ide使用，1年售后保障，每天仅需1毛
【官方授权 正版激活】： 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...
