画像と文章の組を学び、説明文から画像の分類候補を作る
- 画像と文章の正しい組を見分ける学習を、4億組のデータで行った。
- 分類名や説明文を候補にして、専用の追加学習なしで画像を分類できる。
- 著者らはImageNetでゼロショット正解率76.2％を報告した。
RESEARCH BRIEFS
論文をさくっと読む
掲載済みの論文解説から、研究の要点を短く紹介します。
画像の注目点を絞り、小さな物体を捉えやすくした物体検出器
- 画像全体ではなく、基準点の周辺にある少数の位置を参照する注意機構を使う。
- COCO 2017検証用画像で、50エポック学習後のAP 43.8を報告した。
- 小物体のAPは26.4で、元のDETRの500エポック時の20.5を上回った。
少数の例を文章で示し、追加学習せずに言語課題を解く
- GPT-3は1750億パラメータの言語モデルで、論文は少数例による課題への対応を調べた。
- 評価時には課題ごとの追加学習を行わず、指示と例を文章で与える。
- 著者らは複数の課題で強い結果と、苦手なデータセットの両方を報告した。
物体を一括予測するDETR：重複除去を学習で扱う検出法
- 物体の種類と位置を、固定個数の物体クエリから並列に予測する。
- 一対一の対応付けを使い、アンカー設計と検出後の重複除去を省く。
- COCO検証では全体APが調整済みFaster R-CNNと同じ42.0で、小物体のAPは低かった。
検索した文章を使って回答を作るRAG：知識の参照先を外に置く
- 質問に関連する段落を検索し、質問とともに生成器へ渡して答えを作る。
- 回答全体で一つの段落を使う方式と、語ごとに参照先を変えられる方式を示した。
- 公開質問応答で高い完全一致率を報告しているが、実務では検索結果と回答の根拠を別々に確認する必要がある。
ColBERT：文書を先に数値化し、語ごとの照合で検索順位を決める
- 文書と質問を別々にBERTで処理し、文書側は事前に数値化して保存する。
- 質問の各語に近い文書内の語を探し、その類似度の合計で順位を決める。
- 著者らは再順位付けで既存BERT系方式より170倍超の高速化を報告した。
DPR：質問と文章を別々に数値化して答えの候補を探す
- 質問と文章を別々の符号化器で数値化し、近い文章片を検索する。
- Natural Questionsの上位20件の正解包含率は78.4％で、BM25の59.1％を上回った。
- 固有名詞など重要な語句を逃す例と、SQuADではBM25を下回る結果も報告された。
NeRF：複数の写真から別の視点の画像を描く三次元表現
- 複数写真とカメラ位置から、空間の密度と視点ごとの色を表す関数を学習する。
- 光線上で計算した色と密度を重ね、撮影していない視点の画像を作る。
- 画質指標の多くで比較対象を上回ったが、実写のLPIPSではLLFFが優位だった。
BERTは文章の前後をどう読んで質問応答に使うのか
- 語を隠して前後から予測する事前学習と、文の続きの判定を組み合わせる。
- 本文の報告ではGLUE公式スコア80.4、SQuAD v1.1のTest F1は93.2。
- 社内文書へ使うなら、答えの根拠範囲と「答えなし」の扱いを別途検証する。
Transformerは翻訳文の語をどう選ぶのか――注意機構だけで組む翻訳モデル
- 自己注意で文中の語同士を参照し、位置情報で語順を補う。
- 著者らはWMT 2014で英独BLEU 28.4、英仏BLEU 41.0を本文で報告した。
- 実務翻訳では専門用語、数値、否定条件を人が確認する工程が必要になる。
Deep SORTは遮蔽後の人物をどう追うのか――位置と見た目による対応付け
- 人物の位置予測に、事前学習した外観特徴の照合を加える。
- MOT16で同じ検出結果を用い、ID切り替わりを1423回から781回へ減らした。
- 遮蔽時の利点と引き換えに、途切れ回数や処理速度も現場で測る。
SORTは検出枠だけで人物をどう追うのか――高速追跡の基準手法
- 検出枠の位置予測と枠の重なりで、フレームごとの人物を対応付ける。
- 著者らはMOTでMOTA 33.4、追跡部分の更新速度260 Hzを報告した。
- 検出器の品質が結果を左右し、長い遮蔽後の同一人物判定は対象外である。