30万ダウンロード近く！PIN-14M：マルチモーダル事前学習の新しい「宝庫」が登場！ PIN-14Mデータセットの紹介 PIN-14Mプロジェクトリンク：https://huggingface.co/datasets/m-a-p/PIN-14M
PIN（Paired and INterleaved）データセットは、M-A-Pチームと2077AIなどのオープンソース組織によって開発された革新的なマルチモーダルデータセット形式です。大規模マルチモーダルモデル（LMM）のトレーニング時に既存のマルチモーダルデータセットに存在する知覚的および推論的エラーに対処することを目的としています。Markdownファイルと画像を統合することにより、PINデータセットは知識集約型でスケーラブルであり、多様なトレーニング戦略をサポートし、モデルが複雑なタスクを学習する能力を大幅に向上させます。
大規模マルチモーダルモデルのトレーニングにおける課題、特に複雑な視覚データの解釈とマルチモーダル関係の推論における課題に取り組むために、M-A-PチームはオープンソースデータセットPIN-14Mをリリースしました。PIN-14Mには1400万のサンプルが含まれており、科学およびWebベースのコンテンツを幅広くカバーし、データ品質と倫理的完全性を強く重視しています。PIN-14Mデータセットの検証の予備結果は、大規模マルチモーダルモデル（LMM）のパフォーマンスを向上させる上で、PIN形式の計り知れない可能性を示しています。
以前のマルチモーダル形式とPIN形式の比較分析 PIN-14M開発チームは、M-A-Pチームと2077AIオープンソースコミュニティによって共同で構成されています。M-A-Pチームは、強力で多様なデータセットを作成することでAI駆動ソリューションの進歩に焦点を当て、マルチモーダルデータ研究の分野で最先端の貢献で知られています。2077AIオープンソースコミュニティは、AIデータの標準化とそのエコシステムの構築に専念しています。これら2つのエンティティ間の協力は、技術革新と戦略的ビジョンを組み合わせています。オープンソースリソースとしてのPIN-14Mのリリースは、オープンソースドメインの進歩を促進するだけでなく、より効率的で繁栄するAIデータエコシステムを育成するというチームのコミットメントを反映しています。彼らは共に、画期的な進歩を達成し続け、LMMで可能なことの境界を拡大していきます。
PIN-14Mデータセットの構築 PIN-14Mは、知識集約型設計、スケーラビリティ、および複数のトレーニング戦略のサポートという3つの基本原則に基づいて構築されています。
知識集約型設計 : PIN-14Mの各サンプルは、テキストと画像の緊密な統合を特徴としており、Markdown形式のドキュメントと全体像を活用して、マルチモーダル情報を完全に表現しています。さらに、テキスト部分は、太字、斜体、見出しなどのマークアップ要素を利用して知識を階層的に構造化し、モデルが異なる情報間の構造的関係を理解するのに役立ちます。
スケーラビリティ : PINデータセットは、既存のマルチモーダルデータセットをシームレスに統合および変換できる統一された形式で設計されています。元のデータセットがテキストと単語のペアであろうと、インターリーブされたドキュメントであろうと、合理化された処理パイプラインを通じてPIN形式に簡単に変換できます。これにより、より包括的なデータセットの構築が可能になります。
複数のトレーニング戦略のサポート : PIN形式は汎用性が高く、画像とテキストのペアリング、インターリーブトレーニング、その他のマルチモーダルアプローチなど、さまざまなトレーニング戦略をサポートしています。この柔軟性により、モデルは複数の視点から学習でき、推論能力が向上し、複雑なシナリオでのパフォーマンスが向上します。
これらの目標を達成するために、M-A-Pチームは一連の処理パイプラインを実装しました。
データ収集とクリーニング : チームは、学術論文、Webリソース、arXivやPMCなどの専門プラットフォームなど、さまざまなソースからテキストと画像のデータを収集しました。
データのフォーマットと統一 : 生のテキストと画像のデータは、構造化されたMarkdown形式に変換および標準化され、ドキュメントの内容に基づいて全体像が生成されました。
さらに、品質を保証するために、各データエントリには品質信号が埋め込まれており、研究者はニーズに基づいてデータを選択的にフィルタリングできます。すべてのデータはオープンソースのライセンス契約に準拠しており、透明性と倫理的コンプライアンスを保証しています。
PIN-14Mワークフローの概要 マルチモーダルトレーニングデータセット構築の新しいパラダイム PINデータ形式の構築とPIN-14Mデータセットのオープンソース化は、マルチモーダル大規模モデルのトレーニングに新しいパラダイムを提供しました。これは主に、知識密度と構造化テキストによってもたらされる多様性、スケーラビリティ、互換性に反映されており、複雑なタスクに対するトレーニング済みモデルの推論能力をさらに向上させます。
従来のデータセットは通常、単純な知覚タスク（画像分類、オブジェクト検出など）に焦点を当てていますが、PINデータセットは、複雑な知識構造とインターリーブされた情報レイアウトを通じて、モデルが推論、理解、および複雑なマルチモーダル関係の解釈における能力を向上させるのに役立ちます。特に、チャート推論、科学文献分析、および同様の課題を含む高レベルのタスクでは、PINデータセットの利点が特に顕著です。これは、豊富なトレーニングデータソースと、PINの構造化された高密度データ形式に起因します。
従来の画像とテキストのペアのデータセットとは異なり、PINデータセットには、画像とテキストの単純なペアリングだけでなく、Markdownファイルを通じてテキスト情報を構造化することも含まれています。Markdown形式では、テキストに意味的なタグ付けが可能であり、これはモデルがテキスト内の階層関係と重要な情報を理解するために不可欠です。PIN形式のグローバル画像は、画像の視覚情報を保持するだけでなく、モデルが画像とテキストの間の深いつながりを理解するのにも役立ちます。以前のデータセットと比較して、PINデータセットはページ全体のレイアウト情報を画像に統合し、モデルが画像内の全体的な構造と相互関係を学習できるようにします。このようにして、PINデータセットはモデルに、より深く体系的な知識表現を提供し、推論能力を向上させます。
PINデータセットは、従来のWebデータだけでなく、幅広い学術文献、技術文書、その他の専門分野のコンテンツもカバーしています。データソースの多様性により、PINデータセットは、特に複雑な科学技術問題を推論および解釈する必要があるタスクにおいて、大規模なマルチモーダルモデルのトレーニングに幅広く適用できます。PINデータセットは、このようなシナリオでより困難なサンプルを提供できます。
さらに、PINデータセットの設計では、既存のマルチモーダルデータセットの変換と互換性の問題が考慮されています。明確なデータ形式変換プロセスを提供することで、PINデータセットは他のデータセットをPIN形式に簡単に変換でき、それによってマルチモーダルデータセットの拡張と統合が促進されます。この機能は、将来のマルチモーダルモデルのトレーニングを進める上で非常に重要です。
PINデータセットの導入は、マルチモーダルトレーニングデータセットを構築するための新しいパラダイムを提供するだけでなく、大規模なAIモデルをトレーニングするためのより豊富なリソースも提供します。データセットの知識密度、スケーラビリティ、多様性を高めることにより、PINデータセットはAI技術の将来の発展に計り知れない可能性を秘めています。HFの制限により、プロジェクトチームは現在PIN-100Mデータセットをオープンソース化しますが、M-A-Pチームと2077AIチームは、オープンソースエコシステムの進歩を促進することを目指して、より多くのデータを生成し続けます。将来的には、データセットのさらなる拡張と最適化により、PINデータセットはマルチモーダルモデルトレーニングの中核的な基盤となり、より複雑なタスクにおけるAIの応用を推進することが期待されます。
