読んだもの、試したこと
小さな実験に持ち込む問いとともに読むための作業用リストです。講座、カリキュラム、資格ではなく、全項目を修了・運用したという主張でもありません。
私たちなしで始める読むものはもう揃っています
四つの言語で読める、無料の出発点が三つあります。
- フレームワーク目的、五つの公理、プリミティブ、中心ではなく能力としての知能。
- アーキテクチャループ、五つの不変条件、三つの再帰、ノードとリンク。
- 進化の記録何を信じ、現実が何を示し、何を変えたかという日付付きの修正。
読み、反論し、私たちなしで実装してください。公開すること自体が設計の一部です。
次は、つくりながら広い分野を自習する人のための道筋です。そのあとに、私たちが直接教えていることが続きます。
自習基礎から現在の実践へ、つくりながら進む道筋
順番に進めます。ただし数学は、制作で必要になったときに学んでください。最初に「数学を終える」必要はありません。各段階を、説明できるもの・動くもの・検証できるもので終えます。
-
全体像を見る
Python を初めて学ぶなら、まず CS50P から始めてください。次に、視覚的な説明を使って、ベクトル、微分、勾配降下、誤差逆伝播を具体的に捉えます。数学書は関門ではなく、必要なときに引く参考書として手元に置いてください。
得るもの: 小さなニューラルネットワークがどう学ぶかを、平易な言葉で説明できること。 -
学習を自分の手で起こす
Karpathy の Zero to Hero を、スカラーの自動微分エンジンから小さな文字単位の言語モデルまで進めます。コードを写し、変え、壊してみます。
つくるもの: 一行ずつ理解できる誤差逆伝播と、小さな言語モデル。 -
訓練の技術を身につける
CS231n のノート、講義、課題から、最適化、訓練の挙動、デバッグを選んで学びます。題材は画像ですが、その技術はコンピュータビジョンの外にも通用します。
診断できること: 過学習、悪いデータ、不安定な最適化、誤解を招く評価。 -
現代のエコシステムを使う
Python と深層学習の基礎に慣れたら、Hugging Face LLM Course へ。モデル、トークナイザー、データセット、ファインチューニング、評価、再現可能な共有を学びます。
つくるもの: 評価済みの小さなファインチューニング、モデルカード、再現可能なノートブック。 -
スタック全体を訓練する
nanochat を端から端まで読み、動かします。トークナイザー、事前学習、教師ありファインチューニング、評価、推論。まずはノート PC で小さく。十分な能力を持つリファレンス実行はマルチ GPU の実験で、無料ノートブック向けではありません。
追跡するもの: 生のテキストから、測定された対話システムまでの一つのモデル。 -
コースから研究実践へ移る
最後のプレイリストはありません。一次論文、モデルカード、コードを読み、一つの主張を再現し、最適化の前に評価を設計し、データ・来歴・費用・失敗例を記録します。エージェントなら、自律性の前にアイデンティティ、権限、限度、取り消しを加えます。
公開するもの: 他者が検査し、反論し、再現できる証拠。読む → 再現する → 評価する → 公開する
残る問い
同程度の能力で、同じ作業を個人、チーム、複数コミュニティの構成で実行します。保てたもの、書き直したもの、費用、失敗を記録します。提案する実験であり、結果でも、このページを直すための前提条件でもありません。