アーカイブ / Generative AI
モデルの派生元をたどり、関連資源を探す：HuggingKGと三つの評価課題
HuggingKG and HuggingBench
HuggingKG and HuggingBenchの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 . Illustration of 𝖧𝗎𝗀𝗀𝗂𝗇𝗀𝖪𝖦 \mathsf{HuggingKG} and 𝖧𝗎𝗀𝗀𝗂𝗇𝗀𝖡𝖾𝗇𝖼𝗁 \mathsf{HuggingBench} .
概要
- HuggingKGは、Hugging Faceの資源と利用者などを2,614,270節点、6,246,353辺で表す。
- HuggingBenchは、資源推薦、複数ラベルのタスク分類、モデルの派生関係の追跡を評価する。
- 推薦実験ではHomoグラフを使うKGCLのRecall@20が0.2237、グラフを使わないLightGCLが0.2228。ただし手法も異なる。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、HuggingKG and HuggingBenchの仕組み
- 01Hugging Face情報
- 02節点と辺に変換
- 03不整合を除去
- 04三課題の評価集合
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
HuggingKGは、公開されたモデルやデータセットを、互いの関係までたどれる形に整理する。候補が多い環境では、名前やタグだけを手掛かりに、用途に合う資源やモデルの派生元を探すのは難しい。
モデルの選定では、説明文に加えて、どのタスクに対応し、何を元に作られたかを確認したい。著者らは、こうした関係を構造化することで、資源推薦、タスク分類、モデルの由来の追跡を評価できるようにした。
手法
著者らはHugging FaceのAPIとREADMEからモデル、データセット、利用者、タスクなどを収集する。知識グラフとは、対象を「節点」、対象同士の種類付きの関係を「辺」で表す構造だ。例えばモデルの説明文を属性に、別モデルとのFinetune関係や利用者からのLikeを辺にする。同じ名前の異なる種類の資源は、種類をIDに付けて区別する。
収集後は辺の両端に節点があるかを確認し、無効な辺や文字を除く。HuggingBenchの推薦ではLike履歴からモデル、データセット、Spaceの候補を順位付けする。タスク分類ではモデルなどに複数のTaskラベルを予測し、モデル追跡では派生関係の種類と辺の終点となるモデルから、始点となるモデルを予測する。
新規性
著者らは、Hugging Faceの機械学習資源について、モデル間の派生関係、利用者の行動、説明文を一つの知識グラフに収めた点を貢献としている。派生関係にはFinetuneやAdapter、利用者の行動にはLikeやFollowが含まれる。
HuggingBenchには、異なる種類の資源をまたぐ推薦、タスク分類、モデル追跡の評価集合を設けた。著者らは特に、資源をまたぐ推薦とモデル追跡の評価集合を、この領域で初めてのものと位置付けている。
従来手法との違い
Hugging Faceなどの既存プラットフォームは、著者らによれば主にキーワード検索とタグに依存する。HuggingKGでは、資源の説明に加えて、モデルの派生元や利用者との関係を種類付きの辺として記録し、関係をたどる課題に使える形にする。
比較対象のDEKRとMLTaskKGも機械学習資源をグラフ化するが、著者らの整理では、利用者の行動とモデル間の派生関係を扱わない。関係の種類が増えることと、検索や推薦の精度が必ず上がることは別であり、効果は課題ごとに確かめる必要がある。
実験結果
著者らが2024年12月15日に収集したグラフは、2,614,270節点、6,246,353辺、節点8種類、関係30種類から成る。推薦集合はLikeを基に各節点が少なくとも5本の辺を持つ部分グラフを作り、1,065,220件の相互作用を利用者ごとに学習60％、検証20％、テスト20％に分けた。
著者らの推薦実験では、上位20件に正解が含まれる割合を測るRecall@20は、Homoグラフを使うKGCLで0.2237、グラフを使わないLightGCLで0.2228だった。正解の順位も考慮するNDCG@20は順に0.1416、0.1398。手法も異なる比較であり、知識グラフの追加だけによる差とは解釈できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内で文章分類モデルを選ぶ担当者に、候補と派生元、関連データセットを一緒に示す。入力は公開モデルの説明・タスク・関係情報と、社内で利用を認められた候補選定履歴。出力は候補の一覧と、各候補につながる関係の表示とする。
推薦を学習するなら、過去の選定・非選定、または担当者が付けた関連性ラベルが必要だ。センサーは不要。社内の資源IDとタスク名を公開側のIDとTask分類に対応付ける適応作業が要り、この用途での有効性は論文の結果からは確定しない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：文章分類モデルの候補探しを少数の社内案件で試す。元データとして公開モデル・データセットの説明、Task、派生関係と社内の候補選定履歴を集める。正解には担当者の関連性判定を使い、センサーは不要とする。
まず資源IDと社内タスク名をグラフ側に対応付け、同じ候補集合でキーワード・タグ検索を基準にする。過去の案件と後の案件を分け、上位20件に関連候補が入る割合と、関係の根拠を担当者が確認できた割合を測る。履歴が少なければ、人手で判定した案件から始める。
限界と課題
著者らは、説明文がないModelは57.2％、Datasetは33.4％と報告する。説明文を用いる分類や探索では、この欠落が入力の質に関わる。また、削除済みモデルを指す辺を除去したと記しているが、派生関係そのものの正確さを保証する結果ではない。
編集上の検証事項として、公開Likeと社内の選定履歴が同じ意味のラベルになるか、候補の関係を担当者が確認できるかを調べたい。タスク分類の表は、総ノード数と学習・検証・テスト件数の合計が一致しないため、その件数を利用する前に原表の確認が必要だ。
出典
元のタイトル・要旨を確認する（英語）
Benchmarking Recommendation, Classification, and Tracing Based on Hugging Face Knowledge Graph
The rapid growth of open source machine learning (ML) resources, such as models and datasets, has accelerated IR research. However, existing platforms like Hugging Face do not explicitly utilize structured representations, limiting advanced queries and analyses such as tracing model evolution and recommending relevant datasets. To fill the gap, we construct HuggingKG, the first large-scale knowledge graph built from the Hugging Face community for ML resource management. With 2.6 million nodes and 6.2 million edges, HuggingKG captures domain-specific relations and rich textual attributes. It enables us to further present HuggingBench, a multi-task benchmark with three novel test collections for IR tasks including resource recommendation, classification, and tracing. Our experiments reveal unique characteristics of HuggingKG and the derived tasks. Both resources are publicly available, expected to advance research in open source resource sharing and management.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01