2018年1月1日星期一

神經網路想欲解決ê問題普通分做分類問題和迴歸(台羅:huê-kui, 英文: Regression)問題.

普通欲解決迴歸問題使用恆等函數, 分類問題用 softmax (Sòo-hu-mak-su)函數.

分類問題是欲kā輸入 ê 資料分開, 比如講, 一張人相是查埔抑是查某--ê?

回歸問題欲解決 ê 問題, 伊的數字是相連紲--ê, 比如講, 看相片來臆看覓彼个人是幾公斤

恆等函數 (identity function, 台羅:hîng-tíng hâm-sòo) 是啥乜攏無做, 原汁原味, kā 輸入直接擲出來. softmax 函數需要較濟討論

咱佇遮知影 softmax ê 數學式是:

$f(x)={\frac {1}{1+e^{-x}}}$

這是穩藏棧神經元个使用. 若是佇上尾輸出, 對其中一个神經元, 咱會kā改做:


y(k) = exp(a[k]))/sum(exp(a[0]), exp(a[2]), ..., exp(a[n-1]))

      where k: 0 <= k <= n

a[0]...a[n-1] 表示所有輸出神經元中方 ê 一个.

咱真簡單就看會出來, 若是kā y(0)...y(n-1) 攏 kā 伊加起來, 伊就是 1. 所致, 逐个輸出神經元就親像一个事件發生 ê 機率

softmax 函數理論真簡單, 毋過佇電腦頂運行有伊的限制. 這時, 你就會怨嘆數學無學予好. 因為有一寡電腦問題, 毋是用電腦智識會當解決--ê.

當然, 有數學家 ê 研究, 咱干焦利用 in ê 成果就好!

數學頂 ê 指數(kí-sòo) 運算, 磕袂著就會有位數 (uī-sòo) 泏--出來 ê 問題 (overflow). 因為數學是理論, 所以有無限大 ê空間. 毋過, 電腦會當處理 ê 數字, 是有限--ê.

咱會使參考網路上這篇:

How to implement the Softmax function in Python

事實上, 原作者寫了真好, 挺好參考 3.5.2:

建議逐个去買來看.

佇遮我就無閣介紹數學推算 ê 過程, 干焦介紹伊个 Python 寫法:

def softmax(a):
    c = np.max(a)
    exp_a = np.exp(a - c)
    sum_exp_a = np.sum(exp_a)
    y = exp_a/sum_exp_a

    return y

Black Iûnn ê 天跤下