アーカイブ / LLM
新しい語義の用例から定義を作る：公開重み言語モデルの3言語での評価
Definition generation with open language models
概要
- 分類済みの新しい語義の用例から定義を生成し、用例ごとの候補から語義を代表する一文を選ぶ。
- 著者らはAXOLOTL’24の3言語で、参加者の最良生成方式を上回る自動評価結果を報告した。
- 評価は語義と用例が与えられる条件に限られ、語義の発見から辞書登録までの運用には別途検証が必要。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Definition generation with open language modelsの仕組み
- 01語義別の用例
- 02用例ごとに定義生成
- 03近さで代表を選択
- 04語義別の定義
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
同じ語に新しい意味が加わると、古い辞書だけでは後の時期の文書を読み解きにくい。語の使われ方の変化を見つけても、その意味を人が読める定義にできなければ辞書の更新にはつながらない。
本研究でいう「新しい語義」は、後の時期の文書には現れるが、前の時期を対象とする辞書には載っていない意味を指す。フィンランド語、ロシア語、ドイツ語を対象に、既に同じ語義に分けられた用例から定義を書く課題を扱う。
手法
まず、用例と対応する定義の組で公開重みの言語モデルを追加学習し、各用例から定義を一つずつ生成する。例えば、ドイツ語abbauenの「解体する」という語義に分類された用例群が入力になる。フィンランド語とロシア語ではAXOLOTL’24の学習データだけを使う条件と、辞書由来のDbnaryを加える条件を設け、同課題に学習データがないドイツ語ではDbnaryを使う。
次に、同じ語義の生成定義を、文の意味の近さを計算できる数値表現に変える。その平均に最も近い既存の生成文を代表として選び、同じ語の別の語義に同一定義を割り当てないよう別候補も調べる。ただし別候補がなければ重複を許す。出力は単語・語義・定義の組であり、新しい要約文を作る処理ではない。
新規性
著者らは、公開重みの言語モデル3種を定義生成向けに追加学習し、AXOLOTL’24で既に分類された新しい語義の説明に適用した。用例ごとに作った定義から、語義を代表する一文を選ぶ処理まで含めている。
文章を読み取ってから生成するエンコーダー・デコーダー型と、文章を順に生成するデコーダー型を比較した。著者らは、自動評価では両方式が同程度に使える一方、人手評価では誤りの傾向が異なると報告する。
従来手法との違い
比較対象は、AXOLOTL’24の各言語で参加者が提出した生成方式の最良結果である。参加方式にはGPT 3.5を使った定義生成があり、本研究はmT0、Aya-101、TowerInstructを追加学習した。
著者らの表では、3言語とも、少なくとも一つの追加学習モデルが参加者の最良生成方式をBLEUとBERTScore F1で上回る。ただしモデル間では指標によって順位が変わる。TowerDictionaryとAya-101-DefGenの自動評価値の差は統計的に有意ではないと著者らは述べる。
実験結果
著者らはAXOLOTL’24の定義作成課題で評価した。テスト集合は用例と定義の組で、ロシア語2,126組、フィンランド語6,725組、ドイツ語1,152組。生成定義を人手の定義と比べ、語句の一致を見るBLEUと、文の意味的な近さを見るBERTScoreを用いた。
著者らの表では、ロシア語のAya-101-DefGen（AXOLOTL’24とDbnaryで学習）はBLEU 6.37、BERTScore F1 68.18で、参加者の最良生成方式はそれぞれ2.68、65.64だった。自然さと意味の適切さは抽出した定義を人手で調べ、定義内で対象語を繰り返す「循環性」は全テスト集合で自動判定した。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内文書で新しい意味を持つようになった業務用語について、辞書の定義案を作る。入力は、担当者が同じ語義に分類した文書中の用例群とし、出力は語義ごとの短い定義案にする。担当者が元の用例と照合してから登録する。
適応には、出典を確認できる対象分野の用例、人が付けた語義ラベル、対応する定義文を学習用に用意する。文章を入力とする想定で、センサーは不要。対象分野のデータで追加学習し、辞書の文体や語義の区別に合うか確認する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：一つの業務用語集と、その後に作られた文書から少数の語を選ぶ。担当者が新しい意味の用例を集めて語義ラベルと正解定義を付け、出典付きの用例・ラベル・定義の組で対象分野向けに追加学習する。入力は文章で、センサーは不要とする。
比較基準は、担当者が同じ用例を読んで定義を書く現行手順に置く。生成案について意味の誤り、長すぎる説明、対象語を繰り返す循環性、修正に要した時間を記録する。用例を誤った語義に分類した件数は、定義生成の誤りと分けて数える。
限界と課題
著者が明記する限界は、評価時に新しい語義とその用例が既に与えられ、語義を発見する前段を扱っていないことだ。言語別の学習設定や長文処理、辞書特有のラベル除去も検討範囲外とする。学習元の辞書資源の偏りを生成結果が引き継ぐ可能性も挙げている。
編集上の検証事項：社内文書で誰が用例を集めて語義を分類するか、定義案が業務上必要な区別を伝えるかを確かめる。著者らは、ロシア語テスト集合が基礎モデルの事前学習に含まれた可能性にも触れているため、その得点を別分野での性能と同一視できない。
出典
元のタイトル・要旨を確認する（英語）
Explaining novel senses using definition generation with open language models
We apply definition generators based on open-weights large language models to the task of creating explanations of novel senses, taking target word usages as an input. To this end, we employ the datasets from the AXOLOTL'24 shared task on explainable semantic change modeling, which features Finnish, Russian and German languages. We fine-tune and provide publicly the open-source models performing higher than the best submissions of the aforementioned shared task, which employed closed proprietary LLMs. In addition, we find that encoder-decoder definition generators perform on par with their decoder-only counterparts.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01