3D生成データセットに関する最も包括的な共有：パート1、画像から3Dへ

前回の「最も包括的な3D生成データセット共有シリーズ」では、テキスト生成に基づいた3D生成データセットを紹介・共有し、関連する重要なオープンソースデータセットをまとめました。今回の3D生成データセット共有シリーズでは、画像生成に基づいた3D生成データセットを紹介・共有します。

画像から3Dへのデータセットの概要

Image-to-3Dデータセットとは、2D画像または画像シーケンスを入力して、対応する3Dオブジェクト、シーン、または構造を生成するデータセットを指します。これらのデータセットには通常、多数の画像と、対応する3Dモデル、点群、ボクセルグリッド、深度マップ、およびその他の3Dデータが含まれています。Image-to-3Dデータセットは、コンピュータビジョンとグラフィックステクニックを利用して、平面画像から情報を抽出し、オブジェクトまたはシーンの3D構造を再構築します。このプロセスには通常、2D画像から深度情報を回復し、3D空間でオブジェクトまたはシーンを生成することが含まれます。

これらのデータセットは、深層学習とコンピュータグラフィックスの分野の研究に非常に重要なリソースを提供します。画像から3Dモデルを生成することにより、研究者は、単一または複数の画像から空間レイアウト、深度情報、およびオブジェクトの3D形状を推測する方法を探求できます。テキストから3Dへのデータセットと同様に、画像から3Dへのデータセットは、コンピュータビジョン、3D再構成、仮想現実（VR）、拡張現実（AR）などのアプリケーションの進歩において重要な役割を果たします。

画像から3Dへのデータセットの特性

• コンピュータビジョンとグラフィックスの統合: Image-to-3Dデータセットは、コンピュータビジョンとコンピュータグラフィックスの分野を橋渡しします。3Dモデルを生成するプロセスには、2D画像の情報を理解および分析する能力だけでなく、対応する3D空間レイアウトと深度情報を推測する能力も必要です。これには、深層学習、3Dモデリング、幾何学的再構成などの複数の技術分野が含まれます。

• 深度回復と3Dモデリング: テキストから3Dへのデータセットとは異なり、画像から3Dへのデータセットは、2D画像からの深度情報の回復に重点を置いています。これには、モデルが強力な空間推論能力を持ち、複数の視点からオブジェクトの3D形状と構造を合成できる必要があります。深層学習の進歩に伴い、これらのデータセットは、3D再構成問題を解決するための深層ニューラルネットワークのトレーニングに不可欠な基盤となっています。

• マルチモーダルデータ出力: テキストから3Dへのデータセットと同様に、画像から3Dへのデータセットは、従来の3Dモデルだけでなく、点群、ボクセルグリッド、深度マップ、3Dテクスチャマップなどのさまざまな形式の3Dデータも生成することがよくあります。この多様な出力により、データセットは、自動運転、ロボットナビゲーション、仮想現実、ゲーム開発など、さまざまなシナリオで広く適用できます。

オープンソースの画像から3Dへのデータセット

以下は、重要な画像から3Dへのデータセットを整理して紹介したものです。

Pix3D

• 発行者: UCバークレー

• ダウンロードリンク: https://github.com/xingyuansun/pix3d

• リリース日: 2017年

• サイズ: 約30GB（画像と3Dモデルを含む）

• 説明: Pix3Dは、単一の画像から3Dオブジェクトモデルを生成するためのデータセットです。複数のオブジェクトカテゴリの画像と対応する3Dモデルが含まれており、画像から3Dへのオブジェクト生成技術の開発を促進することを目的としています。各画像は、多視点の2D画像から派生した3Dモデルとペアになっています。Pix3Dは、特に単一画像の3D再構成タスクに適しており、画像から3Dへの変換のための深層学習モデルのトレーニングにおいて重要な価値を持っています。

3D-R2N2

• 発行者: プリンストン大学

• ダウンロードリンク: https://cvgl.stanford.edu/3d-r2n2/

• リリース日: 2016年

• サイズ: 約40GB（画像、3Dモデル、深度情報を含む）

• 説明: 3D-R2N2は、多視点画像から3Dオブジェクトを生成するためのデータセットであり、主に複数の2D画像からオブジェクトの3D形状を復元する方法を研究するために使用されます。このデータセットには、豊富な3Dオブジェクトモデルとさまざまな視点からの画像が含まれており、各モデルには深度情報が提供されています。3D-R2N2は、特に多視点画像から3Dモデルへの生成に適しており、3D再構成技術の研究と応用を推進してきました。

マルチビュー3Dオブジェクト検出（MV3D）

• 発行者: カリフォルニア大学バークレー校

• ダウンロードリンク: https://github.com/bostondiditeam/MV3D

• リリース日: 2017年

• サイズ: 約50GB（3Dモデル、画像、ラベルデータを含む）

• 説明: MV3Dは、3Dオブジェクト検出用に設計されたデータセットであり、多視点画像から完全な3Dオブジェクトモデルを生成することを目的としています。このデータセットの目標は、深層学習技術を使用して、多視点画像から3Dオブジェクトを正確に生成および認識することです。MV3Dデータセットは、豊富な3Dオブジェクト注釈データを提供するだけでなく、LiDARなどのセンサーから取得した深度情報も含まれています。自動運転やロボットナビゲーションなどの分野の研究に適しています。

3D-FUTURE

• 発行者: Alibaba-inc、ICT.CAS、メルボルン大学、バークベック・カレッジ、ロンドン大学、シドニー大学

• ダウンロードリンク: https://www.3d-future.com

• リリース日: 2021年

• サイズ: 約100GB（画像、3Dモデル、テクスチャなどを含む）

• 説明: 3D-FUTURE（3D FUrniture shape with TextURE）は、3D家具モデルの生成、テクスチャの復元、および転送を研究するための大規模なオープンソースデータセットです。このデータセットには、5,000以上の多様なシーンからキャプチャされた20,240のリアルな合成屋内画像が含まれています。また、プロのデザイナーによって作成され、高解像度のテクスチャ情報が付随する9,992のユニークな工業用グレードの3D CAD家具モデルも提供しています。

ScanNet

• 発行者: スタンフォード大学＆UCバークレー

• ダウンロードリンク: https://www.scan-net.org/

• リリース日: 2017年

• サイズ: 約800GB

• 説明: ScanNetは、豊富なRGB-D画像と対応する3D再構成モデルを含む大規模な屋内3Dシーンデータセットです。ScanNetデータセットは、3Dシーン再構成、セマンティックセグメンテーション、オブジェクト検出、画像から3Dへの生成など、さまざまなタスクをサポートしています。各シーンには、セマンティックラベルや深度データなどの広範な注釈情報が含まれています。学界で広く使用されているScanNetは、画像から3Dへの生成研究の主要なデータセットの1つです。その高品質な注釈と大規模なデータは、3D再構成とシーン理解の分野で不可欠なリファレンスとなっています。

Matterport3D

• 発行者: Matterport、スタンフォード大学

• ダウンロードリンク: https://niessner.github.io/Matterport/

• リリース日: 2017年

• サイズ: 約200GB（3Dモデル、画像、点群データを含む）

• 説明: Matterport3Dは、Matterportカメラを使用してキャプチャされた大量の3D屋内シーンデータを提供する屋内空間再構成データセットです。このデータセットには、詳細な3Dモデル、RGB画像、深度マップ、および点群データが含まれており、画像ベースの3D再構成および空間認識モデルのトレーニングとテストに適しています。Matterport3Dは、屋内シーン理解、ロボットナビゲーション、仮想現実、およびその他の関連分野に貴重なリソースを提供します。

ModelNet

• 発行者: プリンストン大学

• ダウンロードリンク: https://modelnet.cs.princeton.edu/

• リリース日: 2015年

• サイズ: 約2GB（ModelNet10）、約30GB（ModelNet40）

• 説明: ModelNetは、127のオブジェクトカテゴリからなる3Dオブジェクトモデルを含む大規模な3Dモデルデータセットで、ModelNet10には10カテゴリ、ModelNet40には40カテゴリが含まれています。3Dオブジェクトの認識、分類、検索などのタスクに適しています。ModelNetの主な目標は、オブジェクト分類のデータサポートを提供することですが、画像から3Dへの生成実験の研究にも使用されています。モデルデータは標準の3Dモデルファイル形式（.objなど）で保存されており、豊富なオブジェクトカテゴリ情報が含まれています。

Pix2Vox

• 発行者: 北京大学

• ダウンロードリンク: https://github.com/hzxie/Pix2Vox

• リリース日: 2019年

• サイズ: 約6GB

• 説明: Pix2Voxは、複数の視点からキャプチャされた2D画像と対応する3Dモデルを含む、画像から3Dへの生成のためのデータセットです。このデータセットは、多視点画像からの3Dオブジェクト生成をサポートしており、深層学習研究における古典的なデータセットの1つです。Pix2Voxは、画像から3Dへの生成タスクだけでなく、多視点3D再構成もサポートしており、画像から3Dへの生成分野の研究に強力なサポートを提供しています。

Image-to-3Dデータセットは、コンピュータビジョンとグラフィックスの分野に非常に重要なリソースを提供します。これらのデータセットは、研究者が画像から3D情報を復元するのに役立つだけでなく、自動運転、ロボット工学、仮想現実、その他の分野での応用も推進します。上記のオープンソースデータセットに加えて、Integer Smartは、テキストから3Dへのデータセットの豊富なコレクションも所有しており、特定のニーズやシナリオに合わせてカスタマイズされたデータセット構築サービスを提供できます。これらのデータセットとサービスを通じて、学界と産業界は、複雑な3Dシーンの理解と生成タスクを深く探求し、3D再構成技術の継続的な進歩を促進できます。