アーカイブ / Computer Vision / RAG / LLM
似た展示物を端末で識別し、館の記録から英語・アラビア語で答える博物館ガイド
TimeLens
概要
- 51作品の識別では、人手で枠を付け直した最終モデルが、画像単位の検証でmAP@0.5＝0.995を記録した。
- 作品識別は端末内で行い、質問時には英語・アラビア語の記録を検索して回答を作る。
- 著者らの30問の回答評価では全問正答だった一方、端末上の識別速度は約1.25 FPSで当初目標の2.5 FPSを下回った。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、TimeLensの仕組み
- 01展示物の映像と質問
- 02端末内で作品識別
- 03対応記録を検索
- 04両言語で回答
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
TimeLensは、来館者がスマートフォンを展示物に向けると作品を識別し、英語またはアラビア語の質問に答える案内システムだ。対象の51作品には外見のよく似た像があり、手持ち撮影では角度、照明、背景も変わる。
作品を取り違えると別の作品の説明につながる。文章生成モデルが記録を参照せずに答える場合、根拠のない歴史情報を述べる恐れもある。著者らは識別用ラベルの品質を調べ、回答時には館内記録を検索する構成を採った。
手法
カメラ映像の向きと大きさを整え、端末内のYOLOv8nに渡す。これは画像中の物体を枠で囲み、種類を判定する小型の検出モデルだ。学習用画像には当初、自動で枠を付けて位置の規則で整理し、最終版では51分類の枠を人手で付け直した。
利用者が質問すると、カメラで識別した作品の記録を選び、質問の言語に合う記録を検索して文章生成モデルに渡す。RAG（検索拡張生成）は、関連する記録を先に取り出し、その内容を参照して回答を作る方法だ。作品識別は端末内で動く一方、質問は通信先の検索・生成サービスで処理する。
新規性
著者らの主な成果は、外見が似た展示物の検出で、学習用の枠ラベルを整える効果を段階的に調べた点にある。自動ラベルの整理と人手による付け直しを経て、以前は検出が難しかった分類の指標が改善した。
作品の識別をスマートフォン内で行い、質問時に限って記録の検索と回答生成を行う構成も実装した。識別結果を質問の対象に使い、英語・アラビア語の記録から回答の根拠を取り出す。
従来手法との違い
同じYOLOv8n検出器で学習データを変えた検証では、自動ラベルを使う初期版のmAP@0.5は0.751だった。位置などの規則でラベルを整理すると0.867になり、入力を320から640画素に拡大しても、この指標は0.867のままだった。
拡大によってmAP@0.5:0.95は0.586から0.777に上がった。さらに51分類の枠を人手で付け直した最終版は、mAP@0.5が0.995、mAP@0.5:0.95が0.924だった。これは段階ごとの検証値であり、変更を一つずつ独立に測った結果ではない。
実験結果
著者らは人手で枠を付けた24,384画像を画像単位で70/20/10に分け、最終モデルでmAP@0.5＝0.995、mAP@0.5:0.95＝0.924を報告した。mAPは枠の位置と分類の良さを複数分類で平均する指標で、後者は枠の重なりを複数の厳しさで評価する。
中価格帯のAndroid端末では約800ミリ秒／枚、約1.25 FPSで、当初目標の2.5 FPSを下回った。回答側は両言語の計30問で、著者らは全問正答、誤情報なし、平均約5.9秒と報告する。最適化の経過で示す約10秒とは評価の場面が異なるため、同一条件の応答時間とは扱えない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：館内の対象作品をスマートフォンで撮影し、その作品について英語・アラビア語で質問できる案内に使う。入力はカメラ映像と質問文、出力は識別した作品名と、館が確認した記録に基づく回答とする。
導入には、対象作品を撮影した動画や画像、作品名と作品全体を囲む枠ラベル、両言語の解説記録が必要だ。それらで識別モデルを対象館向けに調整し、記録を検索用に整理する。似た作品が並ぶ場所では、回答前に利用者が作品名を確認できる運用を試す。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：まず少数の対象作品を選び、スマートフォンのカメラで角度や照明を変えて動画・画像を集める。作品名と作品全体の枠を人手で付け、英語・アラビア語の確認済み解説記録を用意し、識別モデルと検索対象を調整する。
比較の基準には、同じ作品のQRコードから解説を開く手順を置く。正しい作品名の表示率と所要時間、作品の取り違え率、回答を記録で裏付けられる割合を測る。学習に使った動画とは別の日の撮影と、記録に答えのない質問も含めて確かめる。
限界と課題
著者らが挙げる制約は、知識ベース外の質問には答えが限られること、単語に基づく質問分類が言い回しによって誤ること、質問間の会話記憶がないことだ。画像単位で分けた検証値についても、動画単位で分ければ一般化の評価はより慎重になるとしている。
編集上の検証事項は、混雑や暗い照明、展示替え、未登録作品での取り違えと、回答に使う記録の更新手順だ。著者らの30問で誤情報がなかったという結果から、任意の歴史質問でも誤情報が出ないとは判断できない。
出典
元のタイトル・要旨を確認する（英語）
TimeLens: On-Device Artifact Recognition with Retrieval-Augmented Question Answering for the Grand Egyptian Museum
TimeLens is an AI-powered bilingual mobile guide for the Grand Egyptian Museum (GEM). Pointing a phone at an exhibit, a visitor sees the artifact recognized in real time and can ask follow-up questions answered in English or Arabic. The work addresses three problems specific to in-gallery deployment: fine-grained visual similarity among 51 catalogued artifacts (many near-identical Ramesside statues), the gap between curated training data and handheld camera conditions, and the risk of an AI guide stating unsupported historical facts. Two engineering contributions are reported. First, an on-device artifact detector was developed through a data-quality-driven iteration study -- from foundation-model auto-annotation (YOLO-World), through spatial label-cleaning rules, to a fully hand-annotated dataset -- isolating label quality as the decisive factor: the final YOLOv8n model resolves every previously failing class while remaining a 5.97 MB TensorFlow Lite asset that runs in real time on a mid-range phone (mAP@0.5 = 0.995, mAP@0.5:0.95 = 0.924). Second, a bilingual Retrieval-Augmented Generation (RAG) guide, grounded in a 108-record ChromaDB knowledge base, was benchmarked across seven candidate language models, with Gemma 4 E2B (Q4 K M) selected; ten targeted optimizations reduce end-to-end latency from over 30 s to approximately 10 s. Both subsystems are integrated in a production Flutter application with bilingual interface, museum location gating, and text-to-speech support.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01