機械学習エンジニアのためのTransformers ―最先端の自然言語処理ライブラリによるモデル開発

本日読了。

機械学習エンジニアのためのTransformers ―最先端の自然言語処理ライブラリによるモデル開発

GPT、BERTなどのTransformer応用モデルをまるごと扱う。

Transformerの未来。スケーリングへの挑戦、大規模コンピューティングとアテンションのボトルネック解消（スパースアテンションや線形化）。画像（ViT）やテーブル（TAPAS）などテキスト以外への適用。マルチモーダル、自動音声認識やテキスト付き画像。