テキストからビデオへの生成などの新しいタスクでは、包括的で多様なビデオデータセットが不可欠です。なぜなら、それらはモデルにテキストから視覚シーケンスへのマッピングの知識を提供するからです。
テキストからビデオへの生成などの新しいタスクでは、包括的で多様なビデオデータセットが不可欠です。なぜなら、それらはモデルにテキストから視覚シーケンスへのマッピングの知識を提供するからです。
現在のデジタル時代において、人工知能はさまざまな分野に浸透し、技術革新と社会発展を推進する上で極めて重要な力となっています。初期のルールベースの単純なアルゴリズムから、今日の深層学習に代表される複雑なインテリジェントシステムまで、人工知能におけるすべての大きなブレークスルーは、データの指数関数的な増加と処理能力の飛躍と密接に関連してきました。ビデオデータは、情報が豊富で視覚的に直感的なデータソースとして、この進化の過程で重要な役割を果たしています。ビデオデータの大規模な生成と広範な応用に伴い、ビデオ理解技術はますます重要になっています。これにより、ビデオコンテンツの自動分類、注釈付け、検索が可能になり、ビデオ処理の効率と精度が向上し、ビデオ監視、インテリジェント交通、映画制作、オンライン教育などのさまざまなアプリケーションに強力なサポートを提供します。
ビデオデータセットは、大規模モデルに豊富な時空間情報を提供し、オブジェクトの動き、シーンの変化、イベントの進行などの動的な特徴を学習できるようにします。高品質のビデオデータセットには、さまざまなシーン、アクション、コンテキストが含まれており、モデルの汎化能力を向上させ、現実世界の複雑さに対応する際の堅牢性を高めるのに役立ちます。テキストからビデオへの生成などの新しいタスクでは、包括的で多様なビデオデータセットが不可欠です。なぜなら、それらはモデルにテキストから視覚シーケンスへのマッピングの知識を提供するからです。
行動認識は、ビデオ内の人間またはオブジェクトの行動を正確に分類し、深く理解することを目的としています。ビデオシーケンスに含まれる豊富な時空間情報をマイニングすることにより、主要な行動特徴を自動的に抽出し、これらの特徴を事前定義された行動カテゴリと効率的に照合することで、ビデオで発生している行動の種類を正確に判断します。
ビデオデータセットの重要なサブセットとして、行動認識データセットは、人間の行動を識別および分類するタスクに焦点を当てています。これらには、単純な手足の動き（歩行、走行、手を振るなど）から複雑な行動活動（スポーツ競技におけるさまざまな行動、工業生産における操作プロセス、社会的相互作用における行動表現など）まで、多種多様な人間の行動ビデオサンプルが含まれています。各行動ビデオには行動カテゴリが正確に注釈付けされており、一部のデータセットでは、行動の開始時刻と終了時刻、行動の詳細な説明、行動を実行する主体と対象などの詳細がさらに提供されています。
ジェネレーティブ人工知能の分野では、行動認識データセットは重要な役割を果たします。
それらは、行動生成のための強固な基盤と豊富な資料を提供します。ジェネレーティブAIモデルは、新しい現実的なコンテンツを作成することを目的としており、行動認識データセットの膨大な数の行動サンプルにより、モデルはさまざまな行動の詳細な特徴とパターンを学習できます。たとえば、仮想現実（VR）および拡張現実（AR）アプリケーションでは、リアルな仮想キャラクターの動きを作成するために、モデルは行動認識データセットに依存して、人間の行動の自然な流動性と協調性を学習し、それによって物理法則と人間の行動習慣に準拠した行動シーケンスを生成し、仮想シーンのリアリズムと没入感を大幅に向上させます。
それらはマルチモーダル融合を促進します。実際のアプリケーションでは、単一モーダルのデータでは複雑なタスクの要求を満たせないことがよくあります。行動認識データを他のモダリティ（画像、音声、テキストなど）と組み合わせることで、モデルはより包括的で詳細な情報理解と表現能力を実現できます。たとえば、ビデオコンテンツ生成タスクでは、テキスト記述を行動認識データと統合することで、モデルは与えられたテキストプロットに基づいて対応するビデオ行動を生成でき、テキストから動的なビジュアルへのインテリジェントな変換を可能にします。これにより、映画制作や広告などの分野に新しい創造的なツールと効率的な制作方法が提供されます。
モデルの汎化能力を効果的に向上させます。データセットにはさまざまなシーン、キャラクター、行動タイプのサンプルが含まれているため、モデルはトレーニング中に幅広い行動のバリエーションに触れることができます。これにより、新しい、見たことのない行動生成タスクに直面したときに、合理的な推論と創造を行うことができ、特定のデータへの過度の依存を減らし、さまざまなアプリケーションシナリオにおけるモデルの適応性と信頼性を向上させます。
行動認識データセットの存在は、複数の分野におけるジェネレーティブ人工知能の革新的な応用のための幅広い道を開きます。映画制作では、監督や特殊効果アーティストは、行動認識データセットでトレーニングされたモデルを使用して、さまざまな幻想的でスリリングなアクション効果を生成し、映画の視覚的インパクトを豊かにすることができます。ゲーム開発では、より多様で、パーソナライズされ、自然に流動的なキャラクターの動きを作成でき、プレイヤーの楽しさと没入感を高めます。インテリジェントロボットの分野では、ロボットは行動認識データセットから人間の行動パターンを学習することで、人間のコマンドと意図をよりよく理解し、より正確で自然な人間と機械の相互作用を実現できます。これにより、ホームサービス、医療、産業協力などのシナリオにおけるロボットの応用範囲が拡大します。
この記事では、いくつかの古典的な行動認識データセットを紹介します。
発行者：セントラルフロリダ大学
ダウンロードアドレス：https://www.crcv.ucf.edu/research/data-sets/ucf101/
リリース日：2012年
説明：UCF-101データセットは、101の異なる人間の行動カテゴリをカバーする13,320のビデオクリップで構成される、有名なビデオ行動認識データセットです。UCF-101の独自性は、日常の活動やスポーツを幅広く網羅する多様な行動カテゴリにあります。これらの101のカテゴリは、5つのグループ（身体の動き、人間同士の相互作用、人間と物体の相互作用、楽器の演奏、スポーツ）に分けることができます。各ビデオは、体操からセーリング、フェンシングから重量挙げなど、明確な行動を示しています。
研究チームは、データセットの多様性と代表性を確保するために、YouTubeなどのプラットフォームから関連ビデオをダウンロードしました。その過程で、ビデオの長さを制限する、ビデオの鮮明さを確保する、行動カテゴリを正確にラベル付けするなど、一連の選択基準が適用されました。ビデオクリップの注釈付け段階では、研究者は手動でラベル付けと検証を行い、各ビデオクリップとその行動ラベルの正確な対応を保証しました。
発行者：DeepMind
リリース日：2017年
説明：Kineticsは、ビデオ行動認識と深層学習モデルの研究を前進させるために設計された、広く使用されている大規模なビデオデータセットです。このデータセットには、データセットのバージョンに応じて、400（Kinetics-400）、600（Kinetics-600）、および700（Kinetics-700）の異なる人間の行動カテゴリをカバーする数十万のビデオクリップが含まれています。Kineticsの独自性は、その大規模さと行動カテゴリの高い多様性にあり、日常の活動から複雑なスポーツ、社会的相互作用からゲームプレイなど、幅広い複雑な人間の活動を網羅しています。
研究チームは、YouTubeなどのオープンプラットフォームから膨大な数のビデオを収集しました。自動レビューと手動レビューのステップを組み合わせることで、多様で代表的な行動カテゴリを網羅し、最終的にデータセットを特定の数の視覚タスク（400、600、700など）に絞り込みました。ビデオの選択プロセスでは、ビデオの品質、行動の明瞭さ、ラベルの正確さを確保するために、一連の厳格なフィルタリング基準を適用しました。各ビデオクリップには行動ラベルが付いており、これは最初に半自動的な方法で割り当てられ、その後手動で検証されて、注釈の高い精度と一貫性が保証されます。
Kineticsデータセットは、その大規模さと詳細な行動カテゴリにより、特に行動認識タスクにおいて、さまざまなビデオ理解モデルのトレーニングと評価に広く使用されています。注釈の精度を確保するために多大な努力が払われていますが、そのソースの多様性とオープン性により、依然として一部のラベルノイズが導入される可能性があります。それにもかかわらず、この大規模なデータセットは、研究者が高度なビデオ分析アルゴリズムを開発および検証するための十分なリソースを提供します。
発行者：アレンAI研究所、カーネギーメロン大学
ダウンロードアドレス：https://prior.allenai.org/projects/charades
リリース日：2016年
説明：Charadesデータセットは、3大陸の267人が行った活動を紹介する9,848本の注釈付きビデオで構成されており、平均長さは30秒、合計で約80時間の映像になります。各ビデオには、複数の自由形式のテキスト記述、行動ラベル、行動間隔、および相互作用するオブジェクトのカテゴリが注釈付けされています。合計で、Charadesは27,847のビデオ記述、157の行動クラスにわたる66,500の時間的にローカライズされた間隔、および46のオブジェクトカテゴリに対する41,104のラベルを提供します。
研究チームは、このデータセットを収集および注釈付けするための新しい方法を設計しました。彼らはまず、考えられる活動の長いリストを生成し、それをAmazon Mechanical Turkのユーザーが再現しました。参加者は、与えられた記述に基づいて自宅でビデオを録画しました。これらの記述は、単純で独立した活動ではなく、複雑で多段階のシナリオでした。たとえば、ビデオは、人が目を覚まし、服を着て、朝食をとるなど、一連の連続した行動を描写している場合があります。
ダウンロードアドレス：http://activity-net.org/index.html
リリース日：2015年
説明：ActivityNetは、膨大な量のデータと多種多様なアクティビティを備えた大規模なビデオデータセットです。最大20,000本のビデオが含まれ、合計849時間以上の映像があり、200の異なる人間のアクティビティカテゴリをカバーしています。ActivityNetの際立った特徴は、日常生活、スポーツ、エンターテイメント、その他さまざまなシナリオにわたるアクティビティの広範な多様性にあります。バージョン1.3のデータセットには、合計19,994本のトリミングされていないビデオが含まれ、トレーニング、検証、テスト用に2：1：1の比率で3つの互いに素なサブセットに分割されています。平均して、各アクティビティカテゴリには137本のトリミングされていないビデオが含まれています。各ビデオには、平均1.41の時間的に注釈付けされたアクティビティがあります。テストビデオのグラウンドトゥルース注釈は公開されていません。
ダウンロードアドレス：https://mmact19.github.io/2019/
リリース日：2019年
説明：MMActは、ビデオ理解とマルチモーダル学習の研究を前進させるために設計された、複数人によるインタラクション行動のための先駆的な大規模データセットです。このデータセットには、さまざまなセンサーデータとビデオクリップが含まれており、幅広い対人インタラクションと独立した行動タスクをカバーしています。MMActの独自性は、マルチモーダルインタラクションコンテンツに焦点を当てている点にあります。各データセグメントは、日常生活の活動から複雑な協調動作まで、特定のタスクを実行する複数の個人の行動とインタラクションを示しています。
研究チームは、一般的な対人インタラクションシナリオを分析することで、包括的なアクティビティのリストを生成しました。主要なカテゴリで「インタラクションタスク」をフィルタリングすることで、複数の感覚と物理的世界とのインタラクションを伴うアクティビティに焦点を当て、最終的にデータセットを特定の視覚タスクに絞り込みました。その後、ビデオ、深度データ、慣性測定ユニット（IMU）などのマルチモーダルデータをキャプチャするための一連の実験を設計し、データの多様性と品質を確保しました。
データセグメントと注釈テキストのペアリング中、研究者は一連のセンサーデータを記述テキストとして使用し、各アクションの開始時刻と終了時刻を正確にマークしました。このプロセスでは、ビデオ、IMUデータ、その他のセンサー情報を組み合わせたマルチモーダル融合技術を採用し、アクションの包括的な表現を提供しました。この方法は複雑なペアリングと処理要件を導入する可能性がありますが、マルチモーダルセンサーデータと実際のアクションの関係を正確に反映しています。
ダウンロードアドレス：http://www.thumos.info/home.html
リリース日：2013-2015年
説明：THUMOSチャレンジは、ビデオ分析、特に行動認識および行動検出技術の分野を前進させるために設計された、学界および産業界を対象とした年次コンペティションです。このチャレンジでは、評価にTHUMOSデータセットが使用されます。これには次のバージョンが含まれます。
THUMOS’13: これはシリーズの最初のバージョンで、チャレンジの一部として導入され、主に行動分類タスクに使用されます。データセットには多数のスポーツ行動カテゴリが含まれており、YouTubeビデオを使用して構築されています。
THUMOS’14: このバージョンでは、行動分類タスクに加えて、行動検出タスクが導入されました。データセットには検証セットとテストセットが含まれており、各ビデオで行動が発生する時間間隔をマークする注釈が付いています。THUMOS’14は101の行動カテゴリをカバーし、検出タスクの正確な時間的境界を提供します。
THUMOS’15: このバージョンは、THUMOS’14のデータとタスク設定をほぼ維持していますが、ビデオ注釈の品質とチャレンジの評価方法を改善して、行動検出の研究をさらに前進させています。THUMOS’15には、430時間以上のビデオデータと4500万フレームが含まれており、現在公開されています。これには次のコンポーネントが含まれます。
トレーニングセット：101の行動カテゴリから13,000を超える時間的にトリミングされたビデオクリップ。
検証セット：行動の時間的注釈が付いた2,100を超える時間的にトリミングされていないビデオ。
背景セット：101の行動のインスタンスを一切含まないことが保証されている約3,000の関連ビデオ。
テストセット：隠されたグラウンドトゥルース注釈が付いた5,600を超える時間的にトリミングされていないビデオ。
ビデオ行動認識および検出に取り組む研究者にとって、THUMOSデータセットは標準化されたテストプラットフォームを提供し、アルゴリズムの革新と改善を促進します。その正確な注釈と多様な行動カテゴリにより、学術研究およびアルゴリズム開発におけるベンチマークとして一般的に使用されています。
ダウンロードアドレス：https://ai.stanford.edu/~syyeung/everymoment.html
リリース日：2016年
説明：Multi-THUMOSは、元のTHUMOSデータセットの拡張および強化バージョンであり、特にマルチラベル行動検出タスク用に設計されています。従来の単一ラベル行動検出タスクに基づいて構築されており、マルチラベル注釈を導入することで、同じ時間セグメントに複数の行動ラベルを割り当てることができます。この機能強化は、実際のビデオ分析においてより困難なシナリオを提示します。なぜなら、実際の設定では複数の行動が同時に発生することが多いためです。単一ラベルのデータセットと比較して、Multi-THUMOSは現実世界の複雑さをよりよく反映し、複雑なシナリオに対するモデルの適応性を向上させます。Multi-THUMOSは、ビデオ理解の分野に新たな課題をもたらし、研究者がより洗練された堅牢なマルチラベル検出モデルを開発することを奨励します。この進歩は、技術の進歩を促進するだけでなく、さまざまな実用的なアプリケーションのためのより強力な基盤を提供します。
発行者：Google、UCバークレー
ダウンロードアドレス：https://research.google.com/ava/
リリース日：2018年
説明：AVA Actionsは、ビデオ理解と時間的行動認識の研究を前進させるために設計された、先駆的な大規模ビデオ行動データセットです。このデータセットには、複数の個人によって実行された行動の注釈が含まれており、多種多様な日常生活の活動とインタラクティブな行動をカバーしています。AVA Actionsの独自性は、高品質の時間的行動注釈に焦点を当てている点にあります。各ビデオセグメントは、特定のフレームで個人によって実行された行動で正確に注釈付けされており、歩行などの単純な行動から複雑な複数人によるインタラクションまで多岐にわたります。
研究チームは、YouTubeの映画から多数の動的なシーンを収集し、主要なカテゴリで「行動タスク」をフィルタリングすることで特定の行動カテゴリを絞り込み、人間の行動と環境との相互作用を伴う活動に焦点を当てました。その後、公開されている映画のビデオから関連するクリップを抽出し、各行動をフレームごとにラベル付けするために細心の注意を払った注釈基準を適用しました。
ビデオセグメントと行動ラベルのペアリング段階では、研究者は各行動カテゴリを対応するビデオフレームと正確に照合し、時間的および行動注釈の高い精度を確保しました。このプロセスでは、行動分類と定量的評価を組み合わせた包括的な手動注釈アプローチを採用し、行動認識の正確なベンチマークを提供しました。この方法は多大な人的労力と時間を必要としますが、複雑な自然なシーンにおける人間の行動の詳細を正確に反映しています。
発行者：ブラウン大学コンピュータビジョンチーム
ダウンロードアドレス：https://serre-lab.clps.brown.edu/resource/hmdb-a-large-human-motion-database/
リリース日：2011年
説明：HMDB51データセットは、51の行動カテゴリからなる6,766のビデオクリップで構成されており、各カテゴリには少なくとも101のクリップが含まれています。初期の評価スキームでは、3つの異なるトレーニング/テスト分割が使用されます。各分割では、行動カテゴリごとに70のクリップがトレーニング用、30のクリップがテスト用に使用されます。これら3つの分割全体の平均精度が、最終的なパフォーマンスを測定するために使用されます。データセットはサイズが小さいため、ダウンロードして使用するのに便利です。解像度は320*240で、完全なデータセットのサイズは約2GBです。映画やWebビデオなど、さまざまなソースからの現実世界のビデオの大規模なコレクションで構成されています。行動は主に5つのカテゴリに分類されます。
一般的な顔の動き（笑顔、笑いなど）
物体操作を伴う顔の操作（喫煙、食事、飲酒など）
一般的な身体の動き（側転、拍手、階段を上るなど）
物体との相互作用（髪をとかす、ゴルフ、乗馬など）
人間同士の行動（フェンシング、ハグ、キスなど）
発行者：Google、スタンフォード大学コンピュータサイエンス学部
リリース日：2014年
説明：Sports-1Mデータセットは、YouTubeから供給された100万本以上のビデオで構成されています。110万本以上のビデオクリップが含まれ、合計5,000時間以上の映像になります。ビデオは、ビデオに関連付けられたテキストメタデータ（タグ、説明など）を分析することにより、YouTube Topics APIを使用して自動的にラベル付けされます。データセットは、サッカー、バスケットボール、水泳、体操など、487種類のスポーツ活動をカバーしています。各カテゴリには1,000〜3,000本のビデオが含まれています。各ビデオには1つ以上のスポーツカテゴリラベルが割り当てられており、これはビデオの主な内容に基づいて自動的に生成され、約5％のビデオには複数のクラスラベルが注釈付けされています。
行動認識ビデオデータセットは、AIビジョンの分野における重要なリソースとして、モデルトレーニングに豊富な資料と正確なガイダンスを提供します。これらは、行動認識技術の継続的なブレークスルーを推進し、多くのドメインで広範かつ詳細なアプリケーションを可能にします。これらのデータセットは、人工知能の境界を継続的に拡大し、機械が人間の行動の世界をよりインテリジェントに理解し、統合できるようにします。これは、よりスマートで、より便利で、より安全な社会環境を構築するための強固な基盤を築きます。
データがない
収集します。
データが煩雑
ラベリングします。
時間がない
既製品をご用意しています。
最も近いものをお選びください。あとはお任せください。
データがない
収集します。
データが煩雑
ラベリングします。
時間がない
既製品をご用意しています。
最も近いものをお選びください。あとはお任せください。