Python Deep Learning 深學筆記 - Softmax 佮 Loss 的倒退攄

←前一篇     後一篇→

上尾, 咱欲討論輸出棧的倒退攄。

 uì 輸出棧 ê 一寡討論，知影分類問題用 softmax (Sòo-hu-mak-su)函數。所致，咱愛揣出 softmax 的倒退攄函式。
上尾，閣愛用 Loss 函式來算出精差是偌濟，親像這張圖:

因為這數學較複雜, 咱直接看伊的結果:

綠色是向前行, 藍色是倒退攄。
看著倒退攄是遐呢仔簡單的 y - t, 佮向前行 ê 時陣彼款複雜的算式比起來, 是夭壽簡單。會得著遮爾媠氣的結果，當然是揀著好用的 Cross Entropy Error 函式，佮 Softmax 會貼峇的結果。若有興趣，會當參考原書的附錄 A。

根據這結果，咱來看 Python 的 code 按怎寫, 參考 layers.py  中方的 class SoftmaxWithLoss:

class SoftmaxWithLoss:
    def __init__(self):
        self.loss = None
        self.y = None # softmax 的輸出
        self.t = None # 正確的答案

    def forward(self, x, t):
        self.t = t
        self.y = softmax(x)
        self.loss = cross_entropy_error(self.y, self.t)
        
        return self.loss

    def backward(self, dout=1):
        batch_size = self.t.shape[0]
        if self.t.size == self.y.size: # 這是 one-hot vector
            dx = (self.y - self.t) / batch_size
        else:
            dx = self.y.copy()
            dx[np.arange(batch_size), self.t] -= 1
            dx = dx / batch_size
        
        return dx

backward() 的 if 條件式內面, 就是 (y1 - t1), (y2 - y2), ... 的實做。毋過遮爾清氣的結果, 是佇
t 是 one-hot 的條件之下。啥乜是 one hot 呢? 咱來回想 MNIST 資料集中方, load_mnist() 介紹有紹介.

若是 else 彼爿就較複雜, 我現此時嘛毋知影。因為咱目前用的 MNIST 資料是 one hot, 就先按呢行落去。

上尾愛講予斟酌的所在是: backward(self, dout=1). dout = 1, 是因為當當咱算出 dL (delta L), 成做倒退攄的輸入的時陣，若是 dL 大, 就表示離標準答案差較遠。dL 細, 就較倚標準答案。所以咱會向望 dL 大的時陣，倒退攄的輸入嘛愛大，予伊刺激較強。所以根據得著的 dL，咱會用 dL/dL = 1 來做為倒退攄的輸入。

←前一篇     後一篇→