極めたい！とことん生成AI講座（上級者編）第4回：SFTとRLHFの実践
はじめに
さあ、第4回の講座の内容にまいりましょう。モデルは生まれた時点では、まだ「原石」に過ぎません。それを磨き上げ、人の意図に沿った知性へと育てていくのが、今回ご紹介するファインチューニングの技法です。SFTとRLHF——この二つの手法は、現代の大規模言語モデルを「使えるAI」へと変革した立役者と言っても過言ではございません。理論の美しさと実装の泥臭さが交差するこの領域に、どうぞ存分に踏み込んでいただけますよう。
サマリ
今回は、事前学習済みモデルを人間の意図に沿わせるための二大手法、SFT（教師ありファインチューニング）とRLHF（人間のフィードバックによる強化学習）を取り上げます。それぞれの仕組みと実装上の注意点、さらに現場での応用まで丁寧に解説してまいります。
詳細
SFTとは何か——「正解例」から学ぶファインチューニング
SFT（Supervised Fine-Tuning）は、人間が用意した高品質な入出力ペアを使い、モデルを再学習させる手法です。
事前学習では膨大なテキストから「言語の統計的パターン」を習得しますが、それだけでは指示への応答や安全な出力は保証されません。
SFTでは、たとえば「この質問にはこう答えるべき」というデモンストレーションデータを数千〜数万件用意し、モデルの重みを更新します。
重要なのはデータの品質です。量よりも一貫性と多様性が求められます。InstructGPTの論文でも、少量の高品質データがベースラインを大きく上回ることが示されています。
実装面では、学習率を低めに設定し、事前学習で獲得した汎用表現を壊さないよう慎重に調整することが肝要です。
RLHFの全体像——人間の好みを報酬に変える
RLHF（Reinforcement Learning from Human Feedback）は、SFTをさらに洗練させるための強化学習フレームワークです。
プロセスは大きく三段階に分かれます。まず複数の応答候補を人間のアノテーターが比較評価します。次に、その好み順位データを使って報酬モデル（Reward Model）を訓練します。最後に、報酬モデルのスコアを報酬信号として用い、PPO（近似方策最適化）でポリシーモデルを更新します。
この枠組みの本質は、「人間が言語化できない好みの基準」を報酬関数として近似する点にあります。
ChatGPTやClaudeの振る舞いの洗練さは、まさにこのRLHFの賜物といえます。
報酬ハッキングという罠——最適化の過剰適合
RLHFの実装において最も注意すべき現象が「報酬ハッキング」です。
ポリシーモデルが報酬モデルの盲点をつき、人間には好ましく見えても本質的に不正確な応答を生成するようになる現象です。
これを抑制するために導入されるのが、KLダイバージェンスペナルティです。ポリシーが元のSFTモデルから大きく逸脱しないよう、損失関数に正則化項を加えます。
このKL係数のチューニングは経験則に頼る部分が大きく、現場では試行錯誤が避けられません。強すぎると学習が進まず、弱すぎると報酬ハッキングが起きます。
DPOという新潮流——報酬モデルを省くアプローチ
近年注目を集めているのが、DPO（Direct Preference Optimization）です。
RLHFでは報酬モデルの訓練とPPOの最適化という二段階が必要でしたが、DPOはこれを一つの分類損失に統合します。
人間の選好データを直接利用してポリシーを最適化するため、実装がシンプルになり計算コストも削減されます。
ただし、DPOはオフライン的な手法であるため、分布のずれに弱い側面も持ちます。オンラインDPOや反復的な選好学習など、改良手法の研究が現在も活発に進んでいます。
SFT・RLHF・DPOを状況に応じて使い分ける判断力こそ、現場エンジニアに求められる実践知といえます。
実装における現実的な課題——スケールとデータ管理
理論を把握した上で直面するのが、実装上の現実的な障壁です。
まずアノテーションコストの問題があります。高品質な選好データの収集は時間と費用がかかり、アノテーター間の一致率（Inter-Annotator Agreement）の管理も不可欠です。
次に計算リソースの問題です。PPOはメモリ消費が大きく、ポリシーモデル・参照モデル・報酬モデルの三つを同時に保持する必要があります。LoRAなどのパラメータ効率化手法との組み合わせが現実解となっています。
さらに評価指標の設計も難題です。報酬スコアが高くても人間評価との乖離が生じることがあり、自動評価と人間評価を組み合わせた多角的な検証体制が重要です。
おわりに
SFTからRLHF、そしてDPOへと至る道筋は、単なる技術の進歩ではなく、「人間の意図をモデルに宿らせる」という本質的な問いへの探求です。実装の細部に宿る知恵の一つひとつが、モデルの振る舞いを大きく左右することを、どうかご自身の手で確かめてみてください。理論と実践の往復こそが、この領域での真の熟達をもたらします。次回の第5回では「推論効率化の最前線」をご一緒に探ってまいります。どうぞお楽しみに。
