アーカイブ / Computer Vision / VLM / LLM / Robotics
室内の取っ手やスイッチから作用先を結ぶ機能的3Dシーングラフ
OpenFunGraph
OpenFunGraphの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1 : Functional 3D Scene Graphs. Given an input sequence of posed RGB-D frames of an indoor environment, our method predicts a functional 3D scene graph by detecting objects, identifying interactive elements, and inferring functional relationships. This enables the representation of interactions, functions, and scene dynamics, going beyond existing 3D scene graph methods that are constrained to spatial relationships between static objects.
概要
- 撮影位置付きRGB-D画像から物体と操作部を検出し、作用関係を結ぶ機能的3Dグラフを作る。
- 著者らの全点に対するR@3／R@10はSceneFun3Dで73.0／82.8、FunGraph3Dで55.5／65.8だった。
- スイッチと照明のような遠隔の対応は静止画像だけでは曖昧になり得るため、実用時には操作による確認が要る。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、OpenFunGraphの仕組み
- 01撮影位置付きRGB-D画像
- 02物体・操作部検出
- 03複数視点の説明文
- 04作用関係の推定
- 05機能的3Dグラフ
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
OpenFunGraphは室内画像から、どの操作部がどの物体に作用するかを立体的な図にする。機能的3Dシーングラフとは、物体と操作部を「点」、その間の作用関係を向きのある「線」で表す室内の記録だ。
従来の3Dシーングラフは、物体が壁に付くといった位置関係を主に扱う。照明スイッチと照明のように離れたものの対応が分からなければ、室内で何を操作すべきかを図から判断しにくい。
手法
入力は撮影位置が分かる複数のRGB-D画像で、RGB-Dは色画像と画素ごとの距離情報の組を指す。画像内の物体を見つけ、その名称から取っ手などの操作部候補を探す。距離と撮影位置を使い、別の画像で見えた同じ候補を立体空間でまとめる。
次に、画像と言葉を扱う視覚言語モデルが複数視点の候補を説明し、言語モデルが説明文を統合する。取っ手が扉を開くような接触する関係を先に調べ、割り当てられなかった操作部について、離れた作用先を推定する。遠隔の候補には相対的な信頼度と関係の説明を付け、物体・操作部・関係を一つのグラフにする。
新規性
物体に加えて取っ手やスイッチなどの操作部を独立した点として扱い、操作部から作用先の物体へ向かう関係を記録する。物体間の位置関係を中心とした3Dシーングラフを、機能の記述へ拡張した。
著者らは、物体から操作部へと段階的に候補を検出し、接触する関係を先に、離れた関係を後に推定する。対象課題専用の学習を行わず、視覚言語モデルと言語モデルを利用する。
従来手法との違い
比較対象のOpen3DSGは物体単位の特徴を使い、空間的な近さに基づいて関係を推定する。ConceptGraphも物体を中心に、限られた位置関係を推定する。著者らは両手法の推論用の指示文を機能的関係向けに調整して比較した。
OpenFunGraphは小さな操作部の候補検出と、その説明文を使った作用関係の推定を加える。評価表にはConceptGraphへ本手法の操作部候補検出だけを加えた条件もあり、候補検出を追加した場合との比較ができる。
実験結果
著者らは、関係ラベルを追加したSceneFun3Dの20場面と、新たに収集したFunGraph3Dの14場面で評価した。前者は検証用から8場面、テスト用から12場面を選び、目視で曖昧さのない関係に対象を限った。後者には操作部201件、物体146件、機能的関係228件がある。
点の評価表で、著者らの全点に対するR@3／R@10はSceneFun3Dで73.0／82.8、FunGraph3Dで55.5／65.8だった。操作部候補検出を加えたConceptGraphは順に60.1／66.0、38.9／45.0。指標には予測点と正解点の空間的な重なりを用いる。確認できた本文の範囲では、その後の計算手順の説明が途中で切れている。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：施設の照明スイッチと照明器具の対応図を作る。入力は撮影位置付きの室内RGB-D画像、出力はスイッチと照明の立体位置、および推定された作用関係とする。必要なセンサーは色と深度を取得できるものだ。
担当者が候補を確認し、実際にスイッチを操作して対応を確定する。対象室専用の学習データは前提にせず、物体名や操作部名の指示文を現場に合わせて調整する。確認には操作前後の記録と、人手で付けた正解の関係ラベルを用いる。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：一室の撮影位置付きRGB-D画像を集め、物体・操作部・作用先の正解ラベルを人手で作る。離れたスイッチと照明の対応は実際の操作で記録する。対象室専用の学習は前提とせず、室内の名称に合わせて検出用の文言を調整する。
比較基準には、担当者が作った物体と操作部の一覧を置く。同じ部屋で操作部の見落とし、作用先の正解ラベルとの一致件数、人による修正件数を数える。物体に付いた操作部と離れた操作部を分け、信頼度が低い候補から確認に要する手間も測る。
限界と課題
著者らは、機能的関係の学習データが乏しく、静止した視覚情報だけでは複数のスイッチの作用先を特定しにくいと述べる。拡張したSceneFun3Dでは現地で操作を確認できないため、評価対象の関係を目視で曖昧さのないものに限った。
編集上の検証事項として、実際の施設で隠れた配線や外観が似た操作部を含む場合の誤対応を調べたい。遠隔関係の推定には信頼度が付くが、その値だけで操作を確定できるかは、この範囲の結果からは判断できない。人による訂正件数も確認が必要だ。
出典
元のタイトル・要旨を確認する（英語）
Open-Vocabulary Functional 3D Scene Graphs for Real-World Indoor Spaces
We introduce the task of predicting functional 3D scene graphs for real-world indoor environments from posed RGB-D images. Unlike traditional 3D scene graphs that focus on spatial relationships of objects, functional 3D scene graphs capture objects, interactive elements, and their functional relationships. Due to the lack of training data, we leverage foundation models, including visual language models (VLMs) and large language models (LLMs), to encode functional knowledge. We evaluate our approach on an extended SceneFun3D dataset and a newly collected dataset, FunGraph3D, both annotated with functional 3D scene graphs. Our method significantly outperforms adapted baselines, including Open3DSG and ConceptGraph, demonstrating its effectiveness in modeling complex scene functionalities. We also demonstrate downstream applications such as 3D question answering and robotic manipulation using functional 3D scene graphs. See our project page at https://openfungraph.github.io
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01