人工知能の民主化を促進する：初の高品質バイリンガルオープンソース大規模言語モデル、MAP-Neoの画期的なリリース！

Githubリンク：https://github.com/multimodal-art-projection/MAP-NEO

人工知能開発の増大する要求に応えて、大規模言語モデル（LLM）は継続的に進化し、多くの自然言語処理（NLP）タスクで強力な能力を発揮しています。しかし、LLMの急速な商業化により、最も先進的なモデルはクローズドソースとなり、トレーニングデータ、モデルアーキテクチャ、インフラストラクチャの詳細などの重要な詳細は公に開示されていません。LLM研究者にとって、これらの非公開の詳細はモデルの研究開発に不可欠です。研究者が利用できる完全にオープンソースのLLMはありますが、これらのオープンソースモデルと商用LLMの間には依然として大きなパフォーマンスギャップがあり、特に中国語処理と特定の推論タスクでは、そのパフォーマンスは依然として商用モデルに大きく遅れをとっています。

研究コミュニティにおける十分にオープンで透明性のある高度なLLMの欠如を考慮して、Multimodal Art Projection（M-A-P）チームは、完全にオープンソースの大規模言語モデルであるMAP-Neoを導入しました。MAP-Neoは、クリーンアップされた事前トレーニングデータセット、データクリーニングの詳細、すべてのチェックポイント、および評価コードを公開しています。M-A-Pは、MAP-Neoがオープンな研究コミュニティを強化および統合し、新たなイノベーションの波を刺激することを期待しています。

M-A-Pチームのメンバーとして、Abaka AIはMAP-Neoの構築に全面的に関与してきました。高品質のトレーニングデータは、優れたモデルパフォーマンスを達成するために不可欠です。MAP-Neoの優れたパフォーマンスは、大規模なトレーニングデータだけでなく、厳格なデータクリーニングと処理パイプラインにも起因しています。さらに、中国語データセットを組み込むことによるバイリンガル大規模言語モデルの構築の試みは、データクリーニングとフィルタリングに新たな課題をもたらしました。オープンソースデータセットと並行して、M-A-PチームはMatrixデータセットとそれを生成するために使用されたすべてのコードも公開しています。

1. MAP-Neoの紹介

1.1 モデルの概要

大規模AIモデルの分野では、ハイテク大手がアルゴリズムを通じてデータ植民地主義の枠組みを確立し、データを独占・操作しています。データ植民地主義の概念は、米国主導のハイテク大手の巨大なデータパワーが、大規模モデルアルゴリズムによって促進され、ユーザーの行動や判断を操作し、人間の活動を継続的に追跡・記録し、業界の独占を確保しながら多額の利益を得ていることを示唆しています。この現実に対応して、人工知能の民主化という概念が生まれました。支持者たちは、すべての機関でAI技術への公平なアクセスを促進することで、AIリソースの民主化を進め、それによってデータ植民地主義のリスクを軽減できると考えています。AI技術の中で、大規模言語モデルが支配的です。オープンソースLLMの可用性を高め、クローズドソースの商用モデルとの競争を促進することで、オープンなAIリソースの不足とデータセキュリティおよびプライバシーに関する懸念の両方に対処できます。

さらに、いわゆるオープンソースLLMのほとんどは、データソース、事前トレーニングコード、データ処理パイプラインなど、開発プロセスの重要な側面を開示していません。これらは、LLMを構築する上で最もコストのかかるコンポーネントです。既存のオープンソースLLMは、研究者が使用および参照するための信頼できるリソースを提供するという点で不十分です。

さらに、既存のLLMのほとんどは、英語のコーパスでゼロからトレーニングされています。非英語圏のコミュニティがオープンソースモデルの恩恵を受け、非英語圏でのデータとAIの民主化を促進することは、さらなる探求が必要な分野です。

これらの課題に対処し、LLMトレーニングの透明性を実現するために、Multimodal Art Projection（M-A-P）研究チームは、完全にオープンソースの大規模言語モデルであるMAP-Neoをリリースしました。MAP-Neoには、最終および中間チェックポイント、自己トレーニングされたトークナイザー、事前トレーニングコーパス、および効率的で安定した事前トレーニングコードベースが含まれています。MAP-Neoモデルは、4.5兆の中国語と英語のトークンでゼロからトレーニングされ、LLaMA2-7Bに匹敵するパフォーマンスを達成しています。推論、数学、コーディングなどの困難なLLMタスクでは、MAP-Neoは同様のトレーニングデータ規模のモデルを上回り、独自のモデルと同等のパフォーマンスを示しています。

MAP-Neo 7Bは完全にオープンソースであり、チームはベースモデルと一連の中間チェックポイントを含むデータを公開し、学界と産業界の両方でより広範で多様な研究をサポートすることを目指しています。

1.2 MAP-Neo 7Bのパフォーマンス

パフォーマンスの面では、MAP-Neo 7Bは幅広いベンチマークで卓越した能力を発揮します。同様のトレーニング規模のモデルと比較して、MAP-Neo 7Bのパフォーマンスは、主要なクローズドソースの商用大規模言語モデルのパフォーマンスと同等か、それを上回っています。

1.3 完全にオープンソースの言語モデルのマイルストーン

MAP-Neoのリリースは、大規模言語モデル（LLM）研究におけるマイルストーンであり、完全にオープンソースで透明性のあるLLMが、クローズドソースの商用モデルに匹敵する高度な機能とパフォーマンスを備えていることを示しています。M-A-Pチームの貢献は、業界全体の研究者と共有される前例のない基盤モデルを構築することにとどまらず、LLMをゼロから構築するための完全に透明な段階的なガイドも提供します。M-A-Pチームは、中国語LLMを必要としているが、既存のモデルへのアクセスが制限されている企業がMAP-Neoを使用または参照し、より活気に満ちた多様な中国語LLM企業コミュニティを育成することを歓迎します。このイニシアチブは、特に非英語圏におけるグローバルなLLM研究にとっても貴重な参考資料となります。

2. モデルの利点

以前のLLMと比較して、MAP-Neoはモデルのパフォーマンスと透明性の間で優れたバランスを実現しています。初のオープンソースで透明性のあるバイリンガルLLMとして、MAP-Neoは、オープンソースLLMがクローズドソースの商用モデルと比較して大幅にパフォーマンスが劣るという現在のパラダイムを打ち破ります。また、LLMを構築するための完全に透明なパイプラインも提供します。

2.1 「徹底的に」オープンソースのモデル

以前のクローズドソースの商用モデルやオープンソースモデルとは異なり、MAP-Neoはより徹底的にオープンソースであり、生データの収集とクリーニングから事前トレーニングのコードベースまで、すべての重要なプロセスを開示しています。この包括的なオープン性は、特に中国語LLMの場合、将来のLLMの展開とカスタマイズのコストを大幅に削減します。

M-A-Pチームは、MAP-Neoの以下のコンポーネントとプロセスを公開し、詳細に説明しています。

• データ編成と処理: チームは、Matrix Data Pileとして知られる事前トレーニングコーパス、および教師ありファインチューニングとアライメントトレーニングのためのトレーニングデータをリリースしました。さらに、安定したOCRシステム、DeepSeek-Mathのデータリコールメカニズム、既存のオープンソースデータ処理パイプラインの統合、Spark2に基づく分散データ処理サポートなど、中国語と英語のトレーニングデータ、およびデータクリーニングコードと詳細を整理しました。

• モデルトレーニングアーキテクチャ: チームは、トークナイザー、ベースモデル、命令調整モデル、RLHFedモデルトレーニングコードなど、モデリングアーキテクチャのコードと詳細を公開しました。さらに、Megatron-LMフレームワークの特定の問題を解決し、より堅牢で効率的な分散LLMトレーニングのサポートを強化しました。

• モデルチェックポイント: チームは、HuggingFaceで最終モデルと中間チェックポイントをリリースしました。

• インフラストラクチャ: チームは、モデルレポートで安定したトレーニングのためのインフラストラクチャを詳細に説明しました。

• 推論と評価: チームは、推論の最適化と包括的な評価のための完全なコードを提供しました。

• 分析と教訓: レポートには、事前トレーニングのさまざまな段階の最適化手法など、多くの技術的な洞察とヒントが含まれており、LLMの構築に関する洞察を提供するための厳密な分析とアブレーション研究を提供します。

2.2 大規模なトレーニングデータ

適切に構造化された高品質のコーパスは、高性能なLLMをトレーニングするための鍵です。データセットのサイズと品質のギャップにより、完全にオープンソースのLLMの開発は、クローズドソースの商用モデルに大きく遅れをとっています。言語モデリングにおける多様で透明性のあるデータセットの緊急の必要性に対処するために、M-A-Pチームは、4.5兆のトークンを含むバイリンガル事前トレーニングコーパスであるMatrixを導入しました。Matrixは、LLMの最大の完全に透明なトレーニングコーパスになる予定です。具体的には、Matrixはデータ収集と処理の6つのプロセスを詳述し、高性能なツールキットを含んでいます。その構築は、さまざまな実用的なシナリオで高品質のデータクリーニングを取得、フィルタリング、実行する際のチームの経験と論理設計を組み合わせています。

トレーニングデータの規模を確保しながら、MAP-Neo-7Bはトレーニングデータの量を厳密に管理し、モデルの品質と効率を保証します。さらに、M-A-Pチームはデータ処理パイプラインを完全に透明に開示しています。

2.3 バイリンガル中国語-英語コーパス

開発が遅れている高品質の中国語データセットと高品質の中国語コーパスの不足という課題に直面して、中国語と英語のトレーニングデータに基づいてMAP-Neo-7Bを構築することは、中国語データセットを改善する上で大きな価値があります。M-A-Pチームは、高品質の中国語データセットの蓄積を豊かにしただけでなく、データフィルタリングとクリーニングを通じて高品質の中国語トレーニングデータを取得するプロセス全体を公に共有しました。これは、将来の中国語データセットの拡張のための効果的な参照と方法論を提供します。

2.4 高品質なトレーニングデータセットの構築

高品質のデータを取得することは、モデルのパフォーマンスを保証するために不可欠です。高品質のデータを利用することで、MAP-Neoは、以前のオープンソースの低品質LLM（AmberやPythiaなど）と比較して、数学、コーディング、複雑な推論タスクで大幅に優れたパフォーマンスを発揮します。チームは、英語と中国語の両方のデータをフィルタリングおよびクリーニングするためのパイプライン全体を公開し、効率的なモデルトレーニングのニーズを満たす高品質のトレーニングデータを効果的に取得する方法に関する洞察を共有しました。

2.4.1 英語データクリーニングパイプライン

• オープンデータセット再処理パイプライン

以前にリリースされたオープンソースの事前トレーニングコーパスに基づいて、M-A-Pチームは、既存のデータを再処理するためのより洗練されたパイプラインを設計し、Matrixデータ混合の英語サブセットを生成し、データ品質をさらに向上させました。チームは、データソースとデータフィルタリングおよび重複排除の手順を公開しています。

再処理された高品質のデータを使用して継続的な事前トレーニングを行うことで、既存の大規模言語モデルのパフォーマンスも大幅かつ迅速に向上させることができることは注目に値します。

• データフィルタリング

チームは、オープンソースデータセットから低品質のコーパスを削除するために、ヒューリスティックルールを使用してテキストフィルタリングを行いました。ヒューリスティックルールは、低品質のデータを効果的に特定して排除し、モデルのパフォーマンスに影響を与えるのを防ぐことができます。チームは複数のソースからの複合データを使用したため、一貫したデータ品質を維持するために、各ソースに合わせて特殊なクリーニング方法を設計しました。

具体的には、チームはRedPajama-Data-v2データセットを使用してすべてのテキストの品質に注釈を付け、ヒューリスティックフィルタリングルールと品質注釈を組み合わせてデータ品質評価を洗練させました。さらに、チームはデータセットでランダムサンプリングを実行して、さまざまなルールに対応するしきい値を決定しました。高品質の注釈がないデータセットについては、チームは独自の特性に基づいてRedPajama-Data-v2のルールとしきい値をカスタマイズして、品質の整合性を実現しました。フィルタリングプロセスには次のものが含まれます。

• データ重複排除

重複したテキストはモデルのパフォーマンスを低下させる可能性があります。重複を削除することで、記憶率を大幅に削減し、モデルのトレーニングをより効率的にすることができます。したがって、重複排除はコーパス処理における重要なステップです。重複データは、完全な重複とほぼ重複に分類できます。

完全な重複については、チームは完全なドキュメントの重複排除を適用しました。ほぼ重複については、チームはMinhashテキスト重複排除方法を使用しました。テキストの複製のインスタンスに対処するために、チームは段落の重複排除と完全な部分文字列の重複排除の両方を使用して、できるだけ多くの重複を削除しました。

2.4.2 中国語データクリーニングパイプライン

中国語コーパスについては、M-A-PチームはWebデータをゼロからスクレイピングして処理するパイプラインを設計し、それを中国語データの形式で提示しました。中国語コーパスの構築については、Neoデータセットとチームが公開しているパイプラインが、その後の研究の参考ガイドとして役立ちます。チームは、このパイプラインで形成されたコーパスをMatrixの中国語サブセットとして使用し、データの80.6%は中国語のWebスクレイピングから、残りは複数のオープンソースデータセットから取得しました。

• データフィルタリング

中国語データの独自の特性を考慮して、チームは英語データセットで使用されるものとは異なるフィルタリングルールを採用しました。中国語データセットにおけるHTML変換データの割合が著しく高いことを考慮して、フィルタリングの焦点はHTML関連のアーティファクトの排除とテキストの不整合の修正に置かれました。さらに、中国語と英語の言語構造の大きな違いにより、チームは中国語データセットのドキュメントのターゲットサンプリングを実施し、サンプリングされたコンテンツに基づいてフィルタリングルールのしきい値と詳細を再評価および調整しました。これにより、データフィルタリング方法が中国語テキストの独自の言語的特徴に適していることが保証されました。たとえば、チームは中国語の「文字」と「単語」のフィルタリングルールを改善し、それに応じてトークン化方法を調整しました。

• データ重複排除

中国語データの重複排除方法には、完全な重複排除、MinHash重複排除（最小独立置換局所性鋭敏ハッシュスキーム）、および類似行重複排除が含まれます。中国語環境でのSparkの展開の難しさを考慮して、チームは中国語の文脈での重複排除のための新しいアプローチを開発しました。完全な重複排除については、メモリを節約するために、チームは偽陽性率を0.001に設定したブルームフィルターを使用しました。Webスクレイピングでは、単一のドキュメント内で同じコンテンツが複数回キャプチャされることが多いため、チームは完全な部分文字列の重複排除を避けました。さらに、HTMLからメインテキストを抽出すると、個々の単語が失われることがよくあります。これら2つの問題は、「相互参照または同じテキストからの引用を除き、同一のコンテンツがドキュメント内で同じ形式で出現することはめったにない」という仮定に違反します。したがって、完全な部分文字列の重複排除を実行すると、余分な単語が保持され、テキストの可読性が大幅に低下します。この矛盾に対処するために、チームは類似行重複排除方法を提案しました。

類似行重複排除方法：テキスト内のコンテンツの繰り返しという問題に対処するために、直接的なアプローチは、特定の区切り文字を使用してテキストを行に分割し、行間の類似性を比較することです。行が類似している場合は、後続の行が削除されます。M-A-Pチームは、編集距離を使用して2つの行が類似しているかどうかを判断しました。

2.4.3 ドキュメント変換パイプライン

Webスクレイピングされたデータと比較して、ドキュメントデータは通常、より構造化された形式、焦点の合ったテーマ、より一貫した表現を持っています。しかし、異なるドキュメントはレイアウト標準が異なるか、品質の異なるスキャン画像として存在するため、ドキュメント変換によるデータセット構築も同様に困難です。これに対処するために、M-A-Pチームはドキュメントから高品質のテキストを抽出するための専門的なパイプラインを設計しました。ドキュメント変換パイプラインは、2つの中心的な問題に焦点を当てています。1. レイアウト情報を分析して異なるレイアウト要素を特定すること、および2. これらのレイアウトコンポーネント間の関係を認識することです。

M-A-Pチームは、既存のすべてのオープンソースのドキュメント変換ソリューションを調査し、さまざまな処理パイプラインの長所と短所を包括的に分析しました。彼らは、PaddleOCRを使用して言語サポートを強化し、PP-StructureV2を効率的なレイアウト解析に使用するなど、現在のモデルの利点を統合した分離されたフレームワークを提案しました。MAP-Neoのドキュメント変換フレームワークは、レイアウト検出、要素認識、ソート、および後処理の4つの部分で構成されています。各モジュールの分離により、プロセスの解釈可能性が向上し、チームはさらに最適化、追加、および置換プロセスを簡素化しました。

• レイアウト検出

テキストは、数式、テキスト、ヘッダー、フッターなど、複数のセクションに分割されます。レイアウト検出パイプラインは、PP-StructureV2の軽量オブジェクト検出モデルを使用し、FGDアルゴリズムで強化してモデルのパフォーマンスを向上させ、特徴抽出を最適化し、より正確なレイアウト検出を実現します。

• 要素認識

異なる要素の認識には、異なるモデルが使用されます。数式認識には、Pix2TextによってトレーニングされたTrOCRモデルを採用しており、段落に埋め込まれた数式や型にはまらない数式を識別でき、ほとんどの数式認識シナリオを効果的に処理できます。テキスト認識には、複数のコンピューティングデバイスと互換性があり、強力な認識能力を提供するPP-OCRv4モデルを使用します。グラフィックは認識中に画像として保存され、マージ段階に渡されます。テーブルの再構築はSLANetを使用して実装され、HTML形式で表されます。ヘッダー、フッター、ページ番号は無関係なデータとして破棄され、後処理および再構築段階には進みません。

• 並べ替え

ドキュメント変換中に異なるモジュール間の関係を適切に処理することが重要です。高品質の変換データには、複数列または複数ページのテキスト環境などの複雑なシナリオへの対応が必要です。ソート段階では、MAP-NeoはLayoutLMv3モデルを使用して行と列の検出を行い、特定のルールに基づいて異なる領域をソートし、タスクの精度を向上させ、可読性を大幅に最適化します。

• 後処理

OCRによって抽出されたテキストは、多くの場合、直接使用できず、追加の処理が必要です。後処理には、行やページをまたいで断片化された文を識別して再接続する、ハイフンでつながれた英単語を完全な単語に結合する、数式内の欠落した要素や誤った記号を補足または修正するなどのシナリオが含まれます。

上記のモデルと処理パイプラインを組み合わせることで、ドキュメントテキストデータの品質と一貫性が大幅に向上し、抽出されたコンテンツの可読性と使いやすさが最適化されます。MAP-Neoは、効率的なAI推論展開ツールであるFastDeploy6をコードベースとして使用してこれらの戦略を実装し、マルチスレッドを活用して推論速度と計算コストを最適化します。

2.4.4 高品質な補足データセット

MAP-Neoには、さまざまなシナリオに適した高品質の補足データセットも含まれており、データの堅牢性を高めています。反復的なパイプラインプロセスは、次の段階で構成されています。

• シードデータセットの収集: 数学、コーディング、Wikipediaベースのコンテンツなど、関連分野の高品質なシードデータセットを収集します。

• ドメイン定義とサンプリング: ドメインをシードデータセットで同じベースURLを共有するデータエントリとして定義し、各ドメインからサンプルを抽出して、フォーマットの多様性を高めるための正のサンプルとして使用します。負のサンプルとして、一般的なスクレイピングから同量のデータを取得します。

• モデルトレーニング: FastTextモデルを二項分類に使用して、データの指定されたドメインへの関連性を判断します。モデルは、限られたコンテンツで効率を向上させるために量子化され、データサイズを元の約10%に削減します。

• データ信頼性評価: FastTextモデルを使用して、公にスクレイピングされたデータの信頼性を評価し、それが正のデータであるかどうかを判断します。信頼度が最も高いものから最も低いものへとソートされたデータを保持し、サブセットをサンプリングしてデータ除外と保持のニーズのバランスをとることで信頼度ランキングプロセスを簡素化し、実行可能な閾値を決定します。

• データ評価: ChatGPT 3.5を使用して保持されたデータを評価し、URLを使用してフィールドの特異性を判断します。この段階は、必要なデータ再現率を維持しながら、偽陽性を減らすことを目的としています。

• データのリコールと注釈: 再訪問率が10%を超えるデータは特別なドメインとして分類され、このドメインのサブセットはURLを介してChatGPT 3.5を使用して注釈付けされます。

• モデルの改良と反復: 以前に未確認だった良性のデータを正のサンプルに統合して、FastTextモデルのトレーニングベースを充実させ、トレーニング段階で新しい反復サイクルを開始します。

3. 開発チーム：Multimodal Art Projection (M-A-P)

Multimodal Art Projection (M-A-P) は、2022年7月に設立されたオープンソースの研究コミュニティです。そのメンバーは、テキスト、音声、視覚モダリティを含む人工知能生成コンテンツ（AIGC）のトピックの研究に専念しており、大規模言語モデルのトレーニング、データ収集、および興味深いアプリケーションの開発を行っています。コミュニティの研究は、音楽を含むがこれに限定されない、マルチモーダルアートのための機械学習に焦点を当てています。目標は、さまざまなバックグラウンドを持つ研究者が協力し、専門知識を共有してAIGCの理解を深めることができるスペースを作ることです。

M-A-Pチームは、高品質な大規模言語モデルを開発するために必要なリソースが膨大であることを考えると、オープンソースで透明性のあるLLMがLLMの民主化と学術研究のさらなる発展に不可欠であると満場一致で考えています。MAP-Neoは、現在のオープンソースLLMと比較してすでに優れたパフォーマンスを示しており、数学、コーディング、中国語の知識テストにおける能力は商用モデルと同等かそれ以上ですが、その全体的なパフォーマンスは、同様の規模の主要なクローズドソース商用モデルにはまだ及んでいません。M-A-Pは、オープンソースLLMの開発にさらに多くの専門チームが参加し、その民主化をさらに促進することを呼びかけています。

M-A-Pチームのメンバーとして、Abaka AIはMAP-Neoモデルの構築に参加しました。豊富なデータ処理経験を活用して、Abaka AIは高品質のトレーニングデータセットを構築するための専門的なソリューションを提供しました。そのインテリジェントなデータエンジニアリングプラットフォームであるAbaka Forge Platformと、高度に専門化され、標準化されたデータ処理サービスが、トレーニングデータの開発に貢献しました。Abaka AIは、LLMの民主化と中国語LLMの構築に参加できることを誇りに思っています。高品質なLLMの構築に引き続き取り組み、オープンソースモデル開発の取り組みを継続し、データ処理とモデル構築の専門的なサポートを提供し、オープンソースLLMと最先端の研究を推進していきます。