推論データセットに関する最も包括的な共有：CoT関連データセット

推論データセットと思考の連鎖

推論データセットは、モデルの推論能力をトレーニングおよび評価するために特別に設計されたデータセットのカテゴリです。通常、論理的推論、常識的推論、数学的推論、因果的推論などの複雑なタスクが含まれ、モデルが多段階の推論問題や複雑な推論シナリオを処理するのに役立ちます。大規模言語モデル（LLM）や思考の連鎖（CoT）などの推論方法の開発に伴い、自然言語処理（NLP）における推論タスクの重要性が大幅に高まっています。

思考の連鎖（CoT）は、自然言語処理（NLP）の分野で推論に使用される戦略であり、特にGPTなどの大規模言語モデルで広く適用されています。CoTの中心的な考え方は、問題を分解することで人間の思考の段階的な推論プロセスをシミュレートし、それによってモデルが複雑なタスクをよりよく理解し、より正確な答えを提供するのを助けることです。CoTメソッドの重要な概念は、モデルが結論に直接ジャンプするのではなく、順序付けられた推論の連鎖を生成できるようにすることです。具体的には、CoTメソッドは複雑なタスクを一連のサブタスクまたは中間ステップに分解し、各ステップでより詳細な推論情報を提供して、モデルが推論を通じて正しい最終結論を導き出すのを助けます。段階的に推論することにより、CoTアプローチは複雑な問題を解決する精度を向上させるだけでなく、モデルの解釈可能性も向上させます。

CoT法の開発を促進するために、研究者や開発者は、特に多段階の推論や複雑な問題を伴うタスクについて、モデルの推論能力を評価およびトレーニングするために特別に設計された複数のオープンソースデータセットを作成しました。推論データセット共有シリーズの最初の記事では、CoTアプローチを取り入れたオープンソースの推論データセットをまとめました。これらのデータセットは、常識的推論から数学的推論、状況的推論から段落理解まで、さまざまなドメインをカバーしています。

CoT関連のオープンソースデータセット

NuminaMath-CoT

• 発行者: AI-MO

• ダウンロードアドレス: https://projectnumina.ai/

• リリース年: 2023

• サイズ: 約1GB（段階的な推論プロセスを含む数千の数学の問題が含まれています）

• 説明: NuminaMath-CoTは、大規模言語モデルの推論能力を評価するために特別に設計された数学的推論データセットです。データセットの各数学の問題には、段階的な推論プロセス（思考の連鎖、CoT）が含まれており、モデルが複雑な数学の問題を解決する際に高い精度を維持するのに役立ちます。このデータセットは、基本的な算術問題だけでなく、代数、幾何学、数論などのより高度なトピックも含まれています。CoTメソッドは、モデルが多段階の論理的推論を通じて問題解決アプローチを明確に示すことを奨励し、それによって計算能力と推論能力を向上させます。

source synthetic_math
problem 算術数列の項を考えます：
$-\frac{1}{3}, y+2, 4y, \ldots$
。
$y$
を解きなさい。
solution 算術数列では、連続する項の差は等しくなければなりません。したがって、与えられた数列に基づいて次の方程式を立てることができます： \[ (y + 2) - \left(-\frac{1}{3}\right) = 4y - (y+2) \] これらの方程式を単純化して解きます： \[ y + 2 + \frac{1}{3} = 4y - y - 2 \] \[ y + \frac{7}{3} = 3y - 2 \] \[ \frac{7}{3} + 2 = 3y - y \] \[ \frac{13}{3} = 2y \] \[ y = \frac{13}{6} \] したがって、与えられた算術数列を満たす
$$y$$の値は
$\boxed{\frac{13}{6}}$
です。
messages [ { "content": "算術数列の項を考えます：$-\\frac{1}{3}, y+2, 4y, \\ldots$。$y$を解きなさい。", "role": "user" }, { "content": "算術数列では、連続する項の差は等しくなければなりません。したがって、与えられた数列に基づいて次の方程式を立てることができます：\n\\[ (y + 2) - \\left(-\\frac{1}{3}\\right) = 4y - (y+2) \\]\n\nこれらの方程式を単純化して解きます：\n\\[ y + 2 + \\frac{1}{3} = 4y - y - 2 \\]\n\\[ y + \\frac{7}{3} = 3y - 2 \\]\n\\[ \\frac{7}{3} + 2 = 3y - y \\]\n\\[ \\frac{13}{3} = 2y \\]\n\\[ y = \\frac{13}{6} \\]\n\nしたがって、与えられた算術数列を満たす$$y$$の値は\\boxed{\\frac{13}{6}}$です。", "role": "assistant" } ]

LLaVA-CoT-100k

• 発行者: PKU-YUAN-Lab

• ダウンロードアドレス: https://huggingface.co/datasets/Xkev/LLaVA-CoT-100k

• リリース年: 2023

• サイズ: 約10GB（10万の多段階推論タスクを含む）

• 説明: LLaVA-CoT-100kは、視覚および言語タスクにおける大規模言語モデル（LLM）の推論能力を向上させるために設計された、10万の多段階推論タスクを含むデータセットです。各問題では、モデルが視覚入力から重要な情報を抽出し、それをテキスト推論と組み合わせて段階的に答えを導き出す必要があります。このデータセットは、特に視覚入力によって支援される推論タスクに焦点を当てており、モデルのマルチモーダル推論トレーニングに適しています。

CoT-Collection

• 発行者: kaist-ai

• ダウンロードアドレス: https://huggingface.co/datasets/kaist-ai/CoT-Collection

• リリース年: 2023

• サイズ: 約3GB（さまざまな種類の推論タスクを含む）

• 説明: CoT-Collectionは、数学から論理的推論まで、幅広い分野をカバーする多様な推論タスクデータセットです。このデータセットは、各問題の詳細な推論プロセスを提供し、モデルが問題解決中に完全な推論チェーンを示すことを要求します。CoT-Collectionは、モデルが複雑な推論問題を処理できるようにトレーニングすることを目的としており、計算能力だけでなく、論理的および抽象的思考スキルにも挑戦します。

source Article: Phytochemistry is a branch of plant biochemistry primarily concerned with the chemical substances produced by plants during secondary metabolism. Some of these compounds are toxins such as the alkaloid coniine from hemlock. Others, such as the essential oils peppermint oil and lemon oil are useful for their aroma, as flavourings and spices (e.g., capsaicin), and in medicine as pharmaceuticals as in opium from opium poppies. Many medicinal and recreational drugs, such as tetrahydrocannabinol (active ingredient in cannabis), caffeine, morphine and nicotine come directly from plants. Others are simple derivatives of botanical natural products. For example, the pain killer aspirin is the acetyl ester of salicylic acid, originally isolated from the bark of willow trees, and a wide range of opiate painkillers like heroin are obtained by chemical modification of morphine obtained from the opium poppy. Popular stimulants come from plants, such as caffeine from coffee, tea and chocolate, and nicotine from tobacco. Most alcoholic beverages come from fermentation of carbohydrate-rich plant products such as barley (beer), rice (sake) and grapes (wine). Now answer this question: Where do some medicines and recreational drugs come from?
target from plants
rationale The article states that many medicinal and recreational drugs, such as tetrahydrocannabinol (active ingredient in cannabis), caffeine, morphine and nicotine come directly from plants. These are some examples of the medicines found in plants mentioned by the author. Thus it can be stated with certainty that some medicines do indeed come from plants. Therefore, "from plants" is the correct answer option to this question based on the context provided."
task squad_v1
type CoT

cot_flan

• 発行者: causal-lm

• ダウンロードアドレス: https://huggingface.co/datasets/causal-lm/cot_flan

• リリース年: 2023

• サイズ: 約3GB（多数の推論タスクを含み、言語モデルに適しています）

• 説明: cot_flanは、思考の連鎖（CoT）法を通じて言語モデルの推論および推論能力を向上させることに焦点を当てた、言語モデル用に最適化されたデータセットです。データセットのタスクは、推論、論理的推論、数学的推論など、複数のドメインに及びます。各タスクでは、モデルが詳細な推論ステップを提供して、複雑な入力データをよりよく理解し、高品質の出力を生成するのに役立ちます。

instruction 町の市長が主催する討論会に、3つの異なる学校の生徒がステージで参加していました。最初の学校は2番目の学校の2倍の生徒がおり、2番目の学校は3番目の学校より40人多くの生徒がいました。3番目の学校に200人の生徒がいた場合、討論会が終わった後、すべての生徒が市長と握手した場合、ステージで市長と握手した生徒の総数を計算してください。考えは？ステップバイステップの推論：
input
output 3番目の学校に200人の生徒がいて、2番目の学校が3番目の学校より40人多くの生徒がいた場合、2番目の学校には200 + 40 = 240人の生徒がいました。3番目と2番目の学校には、ステージで討論会に参加している生徒が240 + 200 = 440人いました。最初の学校は2番目の学校の2倍の生徒がおり、2番目の学校には240人の生徒がいたので、最初の学校にはステージで討論会に参加している生徒が240 * 2 = 480人いました。討論会が終わった後、ステージのすべての生徒が市長と握手した場合、市長と握手した生徒の数は480 + 440 = 920人です。したがって、答えは920です。

GSM8K (Grade-School Math 8K)

• 発行者: OpenAI

• ダウンロードアドレス: https://github.com/openai/grade-school-math?tab=readme-ov-file

• リリース年: 2022

• サイズ: 約2GB（8,000以上の数学の問題とその解答手順を含む）

• 説明: GSM8Kは、主に小学校レベルの数学の問題を対象とした8,000以上の数学の問題を含むデータセットです。各問題には詳細な解答手順が含まれており、モデルが段階的に正解を導き出す必要があります。このデータセットにおける思考の連鎖（CoT）の概念の適用には、段階的な推論が含まれ、モデルが最終的な答えを提供するだけでなく、各推論ステップを示すことを保証します。推論プロセスを明示的に示すことで、CoTメソッドはモデルが複雑な算数、代数、幾何学の問題を解決するのに役立ち、推論と計算の精度を向上させます。

cot_gsm8k

• 発行者: Dahoas

• ダウンロードアドレス: https://huggingface.co/datasets/Dahoas/cot_gsm8k

• リリース年: 2023

• サイズ: 約2.5GB（8,000以上の数学の問題を含む）

• 説明: cot_gsm8kは、思考の連鎖（CoT）法を通じてモデルの数学的推論能力を向上させることに焦点を当てた、GSM8Kデータセットの拡張版です。このデータセットには、基本的な算数から高度な代数や幾何学まで、さまざまな数学の問題が含まれています。各問題には段階的な推論プロセスが含まれており、問題を解決する際のモデルの推論チェーンを強調しています。このデータセットは、特に小中学校レベルの数学教育シナリオにおいて、推論能力を持つAIシステムのトレーニングと評価に特に適しています。

question ナタリアは4月に48人の友人にクリップを売り、5月にはその半分の数のクリップを売りました。ナタリアは4月と5月に合計で何個のクリップを売りましたか？
answer ナタリアは5月に48/2 = <<48/2=24>>24個のクリップを売りました。ナタリアは4月と5月に合計で48+24 = <<48+24=72>>72個のクリップを売りました。#### 72
prompt Q: ナタリアは4月に48人の友人にクリップを売り、5月にはその半分の数のクリップを売りました。ナタリアは4月と5月に合計で何個のクリップを売りましたか？ A:
response ナタリアは5月に48/2 = <<48/2=24>>24個のクリップを売りました。ナタリアは4月と5月に合計で48+24 = <<48+24=72>>72個のクリップを売りました。#### 72

MATH (Mathematics Dataset)

• 発行者: Hendrycks et al.

• ダウンロードアドレス: MATH GitHub

• リリース年: 2021

• サイズ: 約1GB（複数の複雑な数学の問題を含む）

• 説明: MATHデータセットには、単純な算数から高度な数学まで、さまざまな難易度の数学の問題が含まれています。各問題は、正解にたどり着くために多段階の推論が必要です。このデータセットにおける思考の連鎖（CoT）の適用は、主に、段階的な推論を通じて複雑な代数、幾何学、確率、その他の数学の問題を解決することに反映されています。CoTメソッドは、モデルが問題を段階的に分解して分析するのに役立ち、直接的な答えを避け、問題解決の透明性を高めます。

CommonsenseQA

• 発行者: Microsoft Research

• ダウンロードアドレス: https://www.tau-nlp.org/commonsenseqa

• リリース年: 2019

• サイズ: 約1GB（12,247問を含む）

• 説明: CommonsenseQAは、常識的な知識に基づいて推論する必要がある多数の多肢選択問題を含む常識的推論データセットです。このデータセットにおける思考の連鎖（CoT）の概念の適用は、質問を複数の推論ステップに分解し、モデルが論理的な推論チェーンを生成して最も常識的な答えを選択するのに役立つことに反映されています。この段階的な推論アプローチにより、モデルは、特に明示的な文脈が欠けている状況で、より複雑な推論問題を処理できるようになります。

SWAG (Situations With Adversarial Generations)

• 発行者: Facebook AI Research

• ダウンロードアドレス: https://rowanzellers.com/swag/

• リリース年: 2018

• サイズ: 約2GB（113kの状況質問を含む）

• 説明: SWAGデータセットには、日常的な状況に基づいた約113,000の多肢選択問題が含まれており、モデルが最も可能性の高い後続のイベントを推測する必要があります。このデータセットにおける思考の連鎖（CoT）の適用は、モデルが段階的な推論を通じて状況情報を複数のステップに分解し、それによって合理的な後続のアクションを導き出す能力に反映されています。CoTを通じて、モデルは文脈の根底にある関係をよりよく理解し、最も常識的な答えを選択できます。

DROP (Discrete Reasoning Over Paragraphs)

• 発行者: Facebook AI Research

• ダウンロードアドレス: https://github.com/allenai/allennlp-reading-comprehension/blob/master/allennlp_rc/eval/drop_eval.py

• リリース年: 2019

• サイズ: 約2GB（7,000以上のパッセージベースの質問を含む）

• 説明: DROPデータセットは、段落レベルの推論タスクに焦点を当てており、質問には通常、加算、減算、合計などの離散的な推論が含まれます。このデータセットにおける思考の連鎖（CoT）の概念の適用は、多段階の推論と情報抽出を通じて実証されており、モデルが必要な情報をパッセージから抽出し、段階的な推論計算を実行して最終的な答えに到達できるようにします。この段階的な推論アプローチは、モデルがテキストを理解し、複雑な数学的推論を実行する際の精度を向上させるのに役立ちます。

ReClor (Reasoning with Commonsense Logic)

• 発行者: 清華大学

• ダウンロードアドレス: https://whyu.me/reclor/

• リリース年: 2020

• サイズ: 約1GB（9,000以上の推論問題を含む）

• 説明: ReClorデータセットには、さまざまな種類の常識的および論理的推論問題が含まれており、モデルは常識的な知識と論理的推論に基づいて回答する必要があります。このデータセットにおける思考の連鎖（CoT）メソッドの適用には、各問題を複数の推論ステップに分解し、モデルがより体系的で構造化された推論パスを通じて正しい答えを導き出すことができるようにすることが含まれます。ReClorデータセットにおけるCoTの段階的な推論アプローチにより、複雑な推論問題がより理解しやすく、解決しやすくなります。

AQUA-RAT (AQUA Reasoning and Answering Task)

• 発行者: Facebook AI Research

• ダウンロードアドレス: https://github.com/google-deepmind/AQuA

• リリース年: 2021

• サイズ: 約500MB（約10,000の推論問題を含む）

• 説明: AQUA-RATデータセットには、常識的な推論と段階的な推論を必要とする自由形式の質問が含まれています。このデータセットにおける思考の連鎖（CoT）の適用は、モデルが多段階の推論を通じて答えを導き出すのに役立つことに反映されています。各問題では、モデルが推論プロセスを分解し、それによって提供された情報と常識的な知識に基づいて合理的な結論を導き出す必要があります。CoTメソッドを使用することで、モデルはより複雑な推論タスクを処理できるようになり、答えの精度と解釈可能性が向上します。

結論

推論データセット共有シリーズのこの回では、思考の連鎖（CoT）推論法に基づいた多様なデータセットの紹介に焦点を当てました。最も包括的な推論データセット共有シリーズは、研究者や開発者に豊富なオープンソースデータセットのコレクションを提供することを目的としています。今後も、推論データセットに関する記事をさらに公開し、より困難な推論タスクを探求し、皆さんがこれらのデータセットをよりよく理解し、適用できるよう支援していきます。