ディープラーニングを支える技術

本日読了。

良書。ディープラーニングの歴史から最新技術までを、コードを使わず、平易に図解している。G検定の基本技術分野をおさえるにはよい。ただし、「支える技術」シリーズのディープダイブ感は無い。

ディープラーニングの学習における三大発明。Relu(活性値、誤差を保つ活性化層)、正規化層(バッチ正規化、重み正規化、重み標準化)、スキップ接続。

バッチ正規化は活性化層の前に置くことが、よくわかった。

さらに、発展として、注意機構。