先日読了。
いろいろなシンプルな問題に対して、数学的に正しい?多種多様な解答を出す。
本日読了。
良書。知られざる?大学教授という仕事の実体験記。
仕事の中身は、教育、研究、管理運営の3分類。なかなか研究の時間は取れず、プライベートの時間まで好きで研究しているくらいでないと、つとまらない。できる学生への教育は自分の勉強にもなるが、そうではないとなかなか大変。手頃で成果が出やすく未踏の研究テーマを、学生の論文向けにストックしておく必要あり。
本日読了。
古典。長期的なブランド価値を重要な資産として経営しましょう、という、90年代の米国では新鮮な主張だったものと思われる。ブランド戦略は現在は常識となっているが、「“未”顧客理解 なぜ、「買ってくれる人=顧客」しか見ないのか? - nakorakeの日記」のように一周回って逆の主張も出てきている。日産が、昔は海外で「ダットサン」というブランドで人気だった、というトリビアあり。
本日読了。
良書。ディープラーニングの様々な「最前線」を平易に紹介。図解がとても良い。経営学での入山章栄のような位置付け。
・NNの基本概念。次元の多いNNは、良い極小解(最適解の可能性が高く、汎化性能が高い)に辿り着きやすい。プラトー(平らな場所)、鞍点。多様体仮説、最小記述量原理、宝くじ仮説。学習は当たりくじを削り出す。陰的正則化、明示的な正則化。
・最適化。NovoGrad、AdaBelief、Lookahead Optimizer、Stochasitic Weighted Averaging。
・学習率は焼きなます。コサインアニーリング、ウォームアップ。
・生成モデル=データセットから学習可能なシミュレーター。VAE、GAN(→ StyleGAN)、自己回帰モデル(→ GPT3、CausalCNN、PixelCNN、Dilated Convolution、WaveNet)、正規化フロー、拡散モデル。
・強化学習。、報酬という間接的なフィードバックをもとに、時間差のある信用割当問題を解いて、非i.i.dからサンプリングされたデータを使って、最適な方策を推定する。報酬関数を設計するだけで学習できる。
(強化学習の項の中身は、「ゼロつく」と同等)
・今後の発展。必要な学習データ量の削減(→ 自己教師あり学習(→ Word2vec、BERT、GPT3)、離散化自己回帰モデル(→ MAE)、対比学習(→ SimCLR、BYOL))。計算性能の向上。問題固有の知識の組み込み(→ 対称性)。システム2。
本日読了。
10年以上前の本であるためか、時代背景や内容が現時点では古びている。専業主婦志向の早稲田女学生であったり、リーダー像を「特別な一部の人」と論じていたり・・・。投資家は生き残ると書かれているが、現時点では投資判断もAI化されてきているような・・。単純に見極めて資金を出すだけではなく、Yコンビネーターのように、スタートアップを育成するリーダー的要素が強くなっているように思う。
本日読了。
議論の方法についての講義。豪快な語り口でごまかされやすいが、内容はたいしたものではない。同等テーマである、「自分の意見で生きていこう - nakorakeの日記」の方を読むべき。
京大生にこのレベルの講義をしなければいけないという、日本の教育には困ったものだ。