LLMが意味不明なことを言っていませんか？100のAIを復活させるRLHFツールがここにあります！
過去2年間、ChatGPTとClaudeは世界を驚かせ、国内では数百のモデルによる激しい競争が繰り広げられました。これらのモデルは、無数の質問を難なく処理し、機械と人間の境界線を曖昧にしているように見えます。この成果の背景には、大規模言語モデル（LLM）の新しいトレーニングパラダイムである、人間のフィードバックからの強化学習（RLHF）があります。この概念の各単語は馴染み深いものですが、それらを組み合わせると混乱を招く可能性があります。
強化学習の紹介
映画では、ロボットが学習を通じて能力を向上させるのをよく見かけます。現実世界では、強化学習は機械が「試行錯誤」を通じて学習できるようにする方法です。子供に自転車の乗り方を教えることを想像してみてください。うまくできたときは「よくやった」と言い、転んだときは「もう一度やってみて」と言うかもしれません。これが強化学習の基本的な考え方です。報酬と罰を通じて学習プロセスを導きます。
人間のフィードバックの紹介
しかし、機械は自分がうまくやっているかどうかをどうやって知るのでしょうか？ここで人間のフィードバックが役立ちます。私たちが機械に「これは素晴らしい」とか「それはうまくいかない」と言うとき、私たちは本質的に、機械がより良く学習するのを助けるためのフィードバックを提供しています。
以前は、BLEUやROUGEなどのルールベースのテキスト生成メトリックを使用して、機械が生成したテキストと参照テキストの類似性を測定していました。しかし、これらのメトリックは、テキストの意味的な品質と文脈的な一貫性を適切に評価できません。
例えば：
参照テキスト：「今日は天気が良く、散歩に最適です。」
生成されたテキスト（BLEUスコアは高いが意味的な品質は低い）：「今日 散歩 天気は 良い、最適です。」 この生成されたテキストは、すべての単語が参照と一致するため、BLEUスコアは高くなりますが、単語の順序が混沌としており、表現が無意味になっています。
では、なぜ人間にモデルの出力を直接評価させたり、フィードバックを提供させたりしないのでしょうか？これにより、モデルの出力はユーザーのニーズにより合致し、より自然で、より有用になります。
これがRLHFの本質です。強化学習を使用して、人間のフィードバックで言語モデルを直接最適化します。
RLHFの実行方法
主に3つのステップが含まれます。
人間のフィードバックを収集する: アンケート、会話、またはその他の形式を使用して、人間にLLMの出力を評価させたり、フィードバックを提供させたりします。
人間の好みをモデル化する: 収集した人間のフィードバックを使用して、さまざまな出力に対する人間の好みを予測できる報酬モデル（選好モデルとも呼ばれます）をトレーニングします。
強化学習: 選好モデルを報酬関数として使用し、強化学習アルゴリズム（ポリシー勾配やQ学習など）を適用してLLMの動作を最適化し、その出力が人間の好みにさらに合致するようにします。
ステップ1：人間のフィードバックを収集する—Abaka AIのRLHFツールを使用する
Abaka AIのAbaka AIデータエンジニアリングプラットフォームは、テキストと画像のRLHF注釈をサポートする強力なRLHFツールをリリースしました（ビデオとオーディオのカスタム開発は、Abaka AIのデータ専門家に連絡することで利用できます）。
チームユーザーの皆様、今すぐ https://app.abaka.ai/ をクリックして体験してください！
ステップ2：人間の好みをモデル化する—人々が何を好むかを理解する
報酬モデル（RM）はRLHFの中核です。このモデルは、一連のテキスト入力を受け取り、これらのテキストに対する人間の好みを表す数値を返します。それは、人々が特定のテキストを好むか嫌うかを教えてくれる審査員のように機能します。テキストを分析してスコアを割り当てることで、スコアが高いほど、人々はそのテキストを好むことになります。
この報酬モデルを構築するには、2つの方法があります。
エンドツーエンドモデリング: 言語モデル（LM）を直接使用してプロセス全体を処理します。これは、最初から最後まであらゆることを管理できるオールインワンの審査員のように機能します。
モジュラーシステムモデリング: まず出力をランク付けし、次にランキング結果を報酬値に変換します。これはチームの努力のようなものです。まず並べ替え、次にスコアを割り当てます。
ステップ3：強化学習—LLMをより賢くする
強化学習は、LLMにマラソンを走らせるようにトレーニングし、練習を通じて継続的にパフォーマンスを向上させるようなものです。現在、ポリシー勾配強化学習（ポリシー勾配RL）アルゴリズムと近接ポリシー最適化（PPO）が、言語モデルのパラメータの一部またはすべてを微調整するために使用されています。数十億から数百億のパラメータを持つモデルを微調整するのはコストがかかるため、研究者は低ランク適応（LoRA）やDeepMindのSparrow LMなどの方法を提案してコストを削減しています。PPOアルゴリズムはしばらく前から存在しており、その原理に関する多くのガイドが利用できるため、RLHFでは好ましい選択肢となっています。
PPOアルゴリズムの応用
PPOアルゴリズムは、LLMのコーチのように機能し、次の手順で改善を支援します。
入力プロンプト: 初期言語モデルと現在微調整されている言語モデルの両方にプロンプトを提供し、出力テキストy1とy2を生成します。これは、言語モデルにいくつかのプロンプトを与えて応答を求めるようなものです。
報酬の計算: 現在の戦略によって生成されたテキストを報酬モデルに渡して、報酬値rθを取得します。これは、審査員のスコアに基づいてLLMに報酬を与えるようなものです。
ペナルティ項: 2つのモデルによって生成されたテキストの違いを比較し、ペナルティ項を計算します。通常、出力トークン分布間のスケーリングされたカルバック・ライブラーダイバージェンスを使用します。$$r = r_0 - \lambda r \pi r$$。ペナルティ項がないと、モデルは報酬モデルをだまして高い報酬を提供させるために、意味不明な言葉を生成する可能性があります。したがって、言語モデルの応答が元の応答から逸脱しすぎると、ペナルティが課せられ、モデルが不正行為をしないようにします。
例
「今日の天気はどうですか？」というプロンプトを受け取り、テキスト出力を返す言語モデルがあるとします。
このLLMには2つのバージョンがあります。1つは初期モデル、もう1つは上記の手順の後に微調整されたモデルです。初期モデルは「今日は晴れです」と出力し、微調整されたモデルは「今日は天気がとても良く、散歩に最適です」と出力します。両方の出力を報酬モデルに渡すと、初期モデルの出力には低い報酬が割り当てられ、微調整されたモデルの出力には高い報酬が割り当てられます。次に、2つのバージョンの出力の違いを計算し、モデルが初期モデルから逸脱しすぎたテキストを生成しないようにペナルティ項を追加します。最後に、この報酬値を使用してモデルを最適化し、人間の好みに合ったテキストを生成するようにします。
このようにして、LLMはより自然で有用な応答を生成することを学習し、人間のニーズにより良く応えることができます。
参考文献
