アーカイブ / LLM
wikiHowの手順記事に複数の分類を付けるInstructNet：XLNetによる方法と評価の確認点
InstructNet
InstructNetの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig 4 : The system architecture of our proposed methodology. It indicates the system’s workflow and is divided into three parts- Data Preparation and Preprocessing (Workflow given inside the green box of the figure), Model Training (The yellow box of the figure) and Validation (The blue box of the figure).
概要
- 著者らは、wikiHow由来の手順記事11,121件を使い、一記事に複数の分類を付ける課題を扱う。
- 出現記事数500件以上の分類を残し、記事本文と複数の正解タグを使ってXLNetを調整する。
- 著者らはaccuracy 97.30%を報告するが、確認できた本文の範囲ではデータ分割や比較結果表を確認できない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、InstructNetの仕組み
- 01手順記事と分類
- 02分類を件数で選別
- 03XLNetを調整
- 04複数タグ候補
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
手順記事が複数の話題に関係する場合、一件につき分類を一つだけ付けると、別の分類から探す際に見つけにくくなる。複数分類は、一つの文章に複数の正解タグを認める設定だ。手順の検索や知識ベースの整理に関わる。
著者らはwikiHow由来の手順記事を対象にした。記事に付く分類は多く、出現例の少ない分類もある。文章からタグを推定する方法に加え、どの分類を学習と予測の対象に残すかが課題となる。
手法
学習時の入力は手順記事の文章と既存の分類タグだ。著者らは分類ごとの記事数を数え、500件以上ある分類を残し、各記事から対象外のタグを除く。文章をモデルが扱う単位であるトークンに分け、残した分類ごとに「該当する／しない」を表す値を作る。
この文章と正解の値を使い、事前学習済みのXLNetを複数分類向けに調整する。出力には、分類ごとに独立した値を返すシグモイド関数を使う。例えば犬のしつけに関する記事なら、残した分類のうち該当するタグをそれぞれ正解として学習し、予測時には複数のタグ候補を出す。
新規性
著者らが提案するのは、wikiHowの手順記事を、一記事に複数の分類を付ける課題として扱い、既存のXLNetを分類器に用いる方法だ。分類ごとの記事数に基づき、学習対象のタグを選ぶ手順も含む。
著者らは、この課題設定が初めてだと主張する。新しい言語モデルを作ったという主張ではない。従来の一記事一分類の設定を複数分類へ広げ、分類の選別からモデルの調整までを示した点が、確認できた本文での主張の範囲である。
従来手法との違い
著者らの従来研究は、手順記事を一つの分類に割り当てる設定だった。InstructNetでは、一記事に複数の正解タグを認める。例えば複数の話題にまたがる記事を、単一の分類に決めずに扱う設定へ変わる。
本文は、事前学習済みの文章モデルであるBERTとXLNetを、ともに複数分類用に調整したと説明する。ただし、確認できた本文の範囲では両者の結果表を確認できない。性能差や、差が生じた理由は判断できない。
実験結果
著者らは、wikiHow由来のHowSummデータの手順部分、11,121件を使ったと述べる。元の分類は6,000種類超で、500件以上の記事がある分類を選ぶ。本文は選別後を67分類と記すが、掲載された分類一覧には重複がある。
XLNetを用いた実装について、著者らはaccuracy 97.30%、micro average 89.02%、macro average 93%と報告する。後二者の厳密な指標名と集計方法は、この箇所から確定できない。確認できた本文の範囲では、データ分割や比較モデルの結果表も不明である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の作業手順書に、検索用の分類タグを複数付ける。入力は手順書の本文、出力は既存の分類体系に沿った候補タグとし、担当者が確認して登録する。清掃と設備保守にまたがる手順を、両方の分類から探す用途を想定する。
学習には、自社の手順書本文と、一件ごとに人が確認した複数の正解タグが必要だ。分類体系と社内用語に合わせてモデルを調整する。本文だけを扱うこの案では追加センサーは想定しない。社内文書で検索しやすくなるかは、導入時に確かめる仮説である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：自社の手順書本文と、人が確認した複数の正解タグを集める。分類ごとの件数を調べ、少数の分類を残すかどうかを業務上の重要度も踏まえて決める。既存の分類体系と用語に合わせてモデルを調整する。本文だけを入力する計画なら、追加センサーは想定しない。
現在の手作業によるタグ付けを比較対象に置く。学習に使わない手順書で、分類ごとの適合率と再現率、重要タグの見落とし、人による修正件数を測る。選別で対象外になったタグも記録し、検索業務への影響を確認する。
限界と課題
著者らは、元データには分類が多く、記事数の少ない分類もあると説明し、出現数による選別を行っている。選別から外れた分類は、この方法の予測対象に入らない。希少でも重要なタグをどう扱うかは、用途ごとに決める必要がある。
編集上の検証事項：確認できた本文の範囲では、評価用データの分割、候補値をタグに変える基準、BERTとの数値比較が不明だ。著者らは選別後を67分類と記す一方、掲載一覧には重複があり、実際の分類数を確認する必要がある。
出典
元のタイトル・要旨を確認する（英語）
InstructNet: A Novel Approach for Multi-Label Instruction Classification through Advanced Deep Learning
People use search engines for various topics and items, from daily essentials to more aspirational and specialized objects. Therefore, search engines have taken over as peoples preferred resource. The How To prefix has become familiar and widely used in various search styles to find solutions to particular problems. This search allows people to find sequential instructions by providing detailed guidelines to accomplish specific tasks. Categorizing instructional text is also essential for task-oriented learning and creating knowledge bases. This study uses the How To articles to determine the multi-label instruction category. We have brought this work with a dataset comprising 11,121 observations from wikiHow, where each record has multiple categories. To find out the multi-label category meticulously, we employ some transformer-based deep neural architectures, such as Generalized Autoregressive Pretraining for Language Understanding (XLNet), Bidirectional Encoder Representation from Transformers (BERT), etc. In our multi-label instruction classification process, we have reckoned our proposed architectures using accuracy and macro f1-score as the performance metrics. This thorough evaluation showed us much about our strategys strengths and drawbacks. Specifically, our implementation of the XLNet architecture has demonstrated unprecedented performance, achieving an accuracy of 97.30% and micro and macro average scores of 89.02% and 93%, a noteworthy accomplishment in multi-label classification. This high level of accuracy and macro average score is a testament to the effectiveness of the XLNet architecture in our proposed InstructNet approach. By employing a multi-level strategy in our evaluation process, we have gained a more comprehensive knowledge of the effectiveness of our proposed architectures and identified areas for forthcoming improvement and refinement.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01