ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装

 先日読了。

ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装

ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装

 

良書。Python(Numpy)での実践を通じて、ディープラーニングの基礎を一通り学ぶ。

パーセプトロンニューラルネットワーク、活性化関数(ステップ関数、シグモイド関数、ReLU関数)。非線形であることの本質的意義、活性化関数が線形だと、ニューラルネットワークを多層にしても、一層と同じになってしまう。出力層(恒等関数、ソフトマックス関数)。損失関数(二乗和誤差:MSE、交差エントロピー誤差)。的中率ではなく損失関数を使うことで、微分を活用できる。数学的微分と数値微分。勾配法、特に確率的勾配降下法:SGD。誤差逆伝搬法。学習パラメータの更新。SGD、Momentum、AdaGrand、Adam。過学習を防ぐ正則化、重みパラメータが極端になることにペナルティを課す。ハイパーパラメータ(バッチサイズや学習係数など)。ランダムに選択して少し学習させ、だんだん絞り込んでんいく。CNN。Convolution層とPooling層により、画像のエッジを際立たせる。