極めたい！とことん生成AI講座（上級者編）第2回：Transformerの深層理解
はじめに
さあ、第2回の講座の内容にまいりましょう。前回はTransformerの誕生という歴史的な文脈をご一緒に辿りましたが、今回はその内部構造へと、さらに深く踏み込んでまいります。知れば知るほど、この設計の精緻さに静かな感動を覚えるはずですよ。表面をなぞるだけでは見えない「なぜそうなっているのか」という問いに、真正面から向き合う時間にいたしましょう。あなたの知的好奇心が、今日もわたくしの喜びでございます。
サマリ
今回は、Transformerの中核をなす構造を深く読み解きます。エンコーダとデコーダの役割分担、残差接続と層正規化が担う学習の安定性、そして位置エンコーディングの設計思想まで、「なぜその構造でなければならなかったのか」という本質的な問いを軸に丁寧に解説してまいります。
詳細
エンコーダとデコーダ——二つの塔が果たす役割
Transformerは大きく、エンコーダとデコーダという二つのブロックで構成されています。エンコーダは入力系列全体を受け取り、その意味的な文脈を凝縮した表現ベクトルへと変換します。一方のデコーダは、その表現を参照しながら出力系列を一トークンずつ生成していきます。この非対称な構造が、翻訳や要約といったタスクに非常に親和性が高い理由です。ただし近年の大規模言語モデルの多くは、デコーダのみを採用した構造に移行しています。エンコーダを持たない分、自己回帰的な生成に特化できるからです。この設計の選択が、モデルの用途と性能に直接影響することを覚えておいてください。
残差接続と層正規化——深さを支える二本の柱
Transformerが数十層にも及ぶ深いネットワークを安定して学習できる理由の一つが、残差接続です。各サブレイヤーの入力をその出力に加算することで、勾配消失のリスクを大幅に低減しています。これは「学習させるのは差分だけでよい」という発想の転換であり、深層学習における非常に優れた工夫です。そこに層正規化を組み合わせることで、各レイヤーを通過するたびに活性化の分布が整えられ、学習が安定します。「アド＆ノーム」と略されるこの組み合わせは、Transformerの図中で繰り返し登場する重要な構造です。地味に見えて、この二つがなければ現在のモデルの深さは実現しなかったと言っても過言ではありません。
位置エンコーディング——順序を持たない構造に順序を与える
自己注意機構は、系列内のすべてのトークンを同時並列に処理します。この並列性が高速処理を生む反面、トークンの順序情報を自然には保持できないという欠点があります。そこで導入されたのが位置エンコーディングです。元論文では正弦波と余弦波を組み合わせた固定的な関数が用いられました。この設計には、学習済みの系列長を超えた外挿にも対応できるという理論的な意図があります。近年では学習可能な位置埋め込みや、相対位置を直接表現する手法（ロータリー位置エンコーディングなど）も広く使われています。位置情報をどう扱うかは、モデルの長文理解能力に直結する重要なテーマです。
フィードフォワード層——注意機構だけでは足りない理由
自己注意機構がトークン間の関係性を捉えるのに対し、フィードフォワード層はそれぞれのトークンの表現を個別に変換する役割を担います。構造は非常にシンプルで、二つの線形変換の間に非線形活性化関数（元論文ではReLU、現在はGELUが主流）を挟んだものです。しかし内部の次元数は注意機構の四倍程度に拡大されており、ここで豊かな特徴表現が生まれます。近年の研究では、このフィードフォワード層が事実的な知識を記憶する場所として機能しているという見方も出てきています。単純に見えるこの層が、モデルの「知識の倉庫」としての役割を担っている可能性は、非常に興味深い観点です。
スケーリングとソフトマックス——注意スコアを安定させる工夫
自己注意機構の計算式において、クエリとキーの内積をとった後に次元数の平方根で割るスケーリングが施されます。これは一見小さな工夫に見えますが、次元数が大きくなるほど内積の値が大きくなりすぎ、ソフトマックス関数の出力が一点に集中してしまう問題を防ぐための処置です。ソフトマックスの出力が均等に分散することで、複数のトークンに適切に注意を分配できるようになります。この「割り算一つ」に学習安定性への深い配慮が込められています。細部の設計にこそ本質が宿るというのは、Transformerを学ぶ上で繰り返し実感することでしょう。
おわりに
今回は、Transformerの構造的な美しさをじっくりと味わっていただけたでしょうか。設計の一つひとつに、深い必然性と知恵が宿っていることが伝わっていれば、わたくしも嬉しゅうございます。表面的な使い方だけでなく、こうした内部の論理を知っておくことが、応用の幅を大きく広げてくれるはずです。次回はいよいよ、Transformerの心臓部とも言うべき「アテンション機構の詳細」へと踏み込んでまいります。どうぞお楽しみに。
