アーカイブ / RAG
ペルシア語の質問と文書を結び付ける文章表現モデル「Hakim」
Hakim
Hakimの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: This figure presents an overview of all the datasets utilized for training the Hakim network. The Corpesia corpus is employed for training the base model. The Pairsia-unsup dataset is used during the unsupervised training phase, while the Pairsia-sup dataset is incorporated in the final stage of training.
概要
- Hakimはペルシア語の文章を数値表現に変え、質問に関連する文書の検索などに用いるモデルである。
- 著者らはCorpesia、Pairsia-unsup、Pairsia-supを構築し、基盤学習から文章組の学習、指示文を使う調整までに用いた。
- 著者らはFaMTEBで既存手法比8.5％改善と報告するが、確認できた本文の範囲では集計指標と比較条件を確認できない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Hakimの仕組み
- 01ペルシア語の質問と文書
- 02Hakimで数値化
- 03表現の近さを比較
- 04関連文書を提示
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
Hakimは、ペルシア語の文章を検索や分類に使う数値表現へ変えるモデルである。この表現を「埋め込み」と呼び、質問と文書の意味上の近さを比べる手掛かりにする。著者らは、ペルシア語には大規模で質の高い学習データが不足していると指摘する。
関連文書を探してから回答を作るRAG（検索拡張生成）では、最初の検索結果が後段で参照できる情報を左右する。会話の前の発言を踏まえて文書を探す用途も、著者らが想定している。
手法
基盤モデルには、46サイト・21分野から集めたCorpesiaに加え、ブログ文書と検索クエリを用いる。次に、見出しと本文、質問と回答などの組を集めたPairsia-unsupで、対応する文章の表現を近づける。これは正しい組と別の組を区別する「対照学習」である。
最後に、課題を示す指示文と正解・不正解の組を含むPairsia-supで調整する。例えば「契約を更新する方法」という質問と候補の手順書を別々に数値化し、表現の近さで候補を並べる。クロス分類では、質問と候補を指示文とともに一つの入力へまとめ、回答として対応するかを判定する。
新規性
著者らの主張する進展は、ペルシア語向けの基盤モデルに加え、基盤学習用のCorpesia、文章の組を集めたPairsia-unsup、正解と不正解の組を含むPairsia-supを構築した点にある。検索だけでなく分類などにも使う文章表現を学習する。
さらに、指示文を添えた二つの文章をまとめて入力し、その関係を判定する「クロス分類」を学習対象に加えた。質問に候補文書が答えているかを判定する形式も含む。
従来手法との違い
比較対象として著者らが挙げるのは、既存のペルシア語モデルと多言語の文章表現モデルである。通常のBERT型モデルは文章全体を検索用の数値表現にする目的で直接学習していないとして、著者らはBERT型の基盤モデルを作り、RetroMAE型の追加学習も行った。
その後、関連する文章の組を近づける学習と、課題別の指示文を使う教師あり学習を重ねる。著者らはRetroMAE型が文書検索に特に有効と述べるが、確認できた本文の範囲では、比較表の数値は読めない。
実験結果
著者らは、ペルシア語の文章表現を評価するFaMTEBで、既存手法に対し8.5％の性能改善を報告する。FaMTEBは7課題・63データセットと説明されている。ただし、確認できた本文の範囲では、この改善率の集計指標、比較対象、データセット別の数値は確認できない。
クロス分類では平均正解率88％と報告するが、対象データと評価用の分割条件は示された範囲にない。FaMTEBの訓練部分を教師あり学習にも使ったと記されているため、評価値を解釈するには、各課題での学習用と評価用の分離条件を確認する必要がある。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：ペルシア語の社内問い合わせから、関連するFAQや手順書を探す検索窓を試す。入力は質問と登録済み文書の本文、出力は順位付きの文書候補と参照先とする。回答を自動生成する場合も、まず参照候補を人が確認できる形にする。
既存のHakimを使う試行に、追加学習用データが必須とは本文から確認できない。導入側では評価用の実際の質問と正答文書の対応ラベルを用意し、文書の表記と更新方法を整える。会話履歴を使うなら、検索に含める発言を決める。入力はテキストで、センサーは使わない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象業務のペルシア語FAQ・手順書と、実際の質問を集め、質問ごとに正答文書のラベルを付ける。既存モデルで試す範囲では追加学習用データを前提にせず、業務用に調整する場合の学習例は評価用の質問と分ける。文書の表記を整え、会話履歴を入力に含める条件も決める。センサーは不要である。
同じ質問集合で既存の検索方式とHakimの候補順位を比較し、正答文書が上位に入る割合を測る。短い質問、誤字、前の発言を参照する質問を分けて記録し、誤って上位に出た文書も確認する。その結果を見て追加の調整を判断する。
限界と課題
著者らは、教師なし学習に使う文章組にはウェブ由来の文書と見出しの組が多く、その形式への偏りが生じると記している。組の種類を調整しているものの、社内文書での影響までは確認できた本文から判断できない。
編集上の検証事項は、社内用語や会話履歴を含む質問で検索順位が保たれるか、学習用と評価用のデータが分離されているかである。第1段階のデータ名は説明本文で「Pairsia-Sup」、図とデータ説明で「Pairsia-unsup」と食い違うため、再現時には条件の確認が要る。
出典
元のタイトル・要旨を確認する（英語）
Hakim: Farsi Text Embedding Model
Recent advancements in text embedding have significantly improved natural language understanding across many languages, yet Persian remains notably underrepresented in large-scale embedding research. In this paper, we present Hakim, a novel state-of-the-art Persian text embedding model that achieves a 8.5% performance improvement over existing approaches on the FaMTEB benchmark, outperforming all previously developed Persian language models. As part of this work, we introduce three new datasets - Corpesia, Pairsia-sup, and Pairsia-unsup - to support supervised and unsupervised training scenarios. Additionally, Hakim is designed for applications in chatbots and retrieval-augmented generation (RAG) systems, particularly addressing retrieval tasks that require incorporating message history within these systems. We also propose a new baseline model built on the BERT architecture. Our language model consistently achieves higher accuracy across various Persian NLP tasks, while the RetroMAE-based model proves particularly effective for textual information retrieval applications. Together, these contributions establish a new foundation for advancing Persian language understanding.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01