アーカイブ / LLM
鉱業文書から質問回答を作り、Mistral 7Bを専門分野に適応する
MiningGPT
MiningGPTの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1. The approach used to build MiningGPT. The approach used to build MiningGPT.
概要
- 著者らは公開データを鉱業用語と参照知識との意味の近さで選別し、学位論文も加えてMiningPileを作った。
- MiningPileから生成した質問回答でMistral 7B Instructを追加学習し、MiningGPTを作った。
- 著者らの鉱業質問評価ではMiningGPTが55.5%、元モデルが41.2%。一般課題には得点が下がった項目もある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、MiningGPTの仕組み
- 01公開資料を収集
- 02用語と意味で選別
- 03質問回答を生成
- 04QLoRAで学習
- 05鉱業質問に回答
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
MiningGPTは、鉱業の質問に答える大規模言語モデルを作る研究である。一般的な質問に対応するモデルでも、操業や保守の用語と文脈を十分に扱えるかは、鉱業の質問で確かめる必要がある。
著者らは公開データと学位論文から専門分野の文章を集めた。ただし、鉱業用語は他分野でも使われる。学習に使う文章を選別し、回答を比べるための質問回答データを作ることが研究の出発点となった。
手法
著者らは主にC4やarXivの公開データを600語の鉱業用語で絞り、参照知識との意味の近さで再選別した。文章を意味を表す数値列にしたものを埋め込みといい、その向きの近さをコサイン類似度で測る。例えば「Crusher」を含む文章も、用語の一致だけでは採用しない。選別した文章に、大学の公開サイトから集めた鉱業の学位論文を加え、MiningPileとした。
次にGemini 1.5でMiningPileから操業・保守の質問回答を生成し、Mistral 7B InstructをQLoRAで追加学習した。QLoRAは元モデルの重みを量子化し、追加した小さな部分を学習する方法である。完成したMiningGPTには鉱業の質問を入力し、回答文を出力させる。
新規性
著者らが提案するのは、指示に従うよう調整済みのMistral 7B Instructに、鉱業の質問回答だけで追加学習する手順である。別の鉱業向け指示データを作って指示への対応を教え直す工程を設けない。
学習データの準備では、鉱業用語で公開データを絞った後、参照知識との意味の近さでも選別する。用語が他分野でも使われるため、単語の一致だけでは混入を防げないという課題に対応した。
従来手法との違い
主な基準は、追加学習前のMistral 7B Instructである。著者らはMiningGPTと元モデルを同じ鉱業質問回答の評価データで測定し、専門データを加えた後の差を調べた。
同じ評価ではFalcon 7B InstructとLlama 3 8B Instructも測定している。ただし、モデルの規模も異なり、この結果を別の鉱山の文書や現場判断まで広げる根拠は示されていない。
実験結果
著者らは、生成した質問回答の作成時に用意した鉱業評価データで、モデルの回答と正答の埋め込みのコサイン類似度を測った。0.85を超える回答を正解とする条件で、MiningGPTは55.5%、元のMistral 7B Instructは41.2%、Falcon 7B Instructは46.5%だった。元モデルとの差は14.3ポイントで、本文の「14%」とは単位が異なる。
一般課題の得点について著者らは、元モデルからの変化率をOpenbookQAで35.32%増、MMLUで3.22%減、BoolQで8.37%減と報告した。課題によって方向が異なり、全般的な能力維持を一律には示さない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：一種類の設備の保守手順書について、担当者が質問できる社内窓口を試す。入力は承認済み手順書と質問、出力は回答案と参照箇所とする。参照箇所は文書検索で添え、担当者が原文を確認してから使う。
必要なのは対象設備の文書、実際の質問、専門家が確認した正答と根拠箇所である。設備名や手順の違いに合わせて質問回答を整える。センサーとそのラベルは想定しない。公開文書での論文の成績から、この社内用途での精度は判断できない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象を一種類の保守手順書に絞り、承認済み文書と実際の問い合わせを集める。専門家が各質問の正答と根拠箇所を付け、学習用と評価用を分ける。入力に必要なのは文書と質問で、センサーや画像ラベルは使わない。
まず元のMistral 7B Instructを基準に、回答の正確さ、根拠箇所との一致、文書に答えがない場合の対応を人手で採点する。社内用語に合わせた質問回答で追加学習する場合も、評価用の質問を学習に混ぜず、同じ質問と採点基準で比較する。
限界と課題
著者らは、MiningPileは追加学習には使える一方、モデルを最初から事前学習するには規模が不足すると述べる。また、収集範囲を主に操業・保守に絞っており、鉱業の全業務を均等に扱うデータではない。
編集上の検証事項：生成された正答を基準にした意味の近さによる採点で、数値、手順の順序、安全条件の誤りを検出できるかは別途確かめたい。一般課題には元モデルより得点が下がった項目もあり、導入先の質問で専門家による評価が必要である。
出典
元のタイトル・要旨を確認する（英語）
MiningGPT -- A Domain-Specific Large Language Model for the Mining Industry
Recent advancements of generative LLMs (Large Language Models) have exhibited human-like language capabilities but have shown a lack of domain-specific understanding. Therefore, the research community has started the development of domain-specific LLMs for many domains. In this work we focus on discussing how to build mining domain-specific LLMs, as the global mining industry contributes significantly to the worldwide economy. We report on MiningGPT, a mining domain-specific instruction-following 7B parameter LLM model which showed a 14\% higher mining domain knowledge test score as compared to its parent model Mistral 7B instruct.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01