アーカイブ / Audio / LLM
大量の固有名詞から発音の近い候補を選ぶ音声認識手法H-PRM
H-PRM
H-PRMの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 . Overview of the proposed hotword customization system, including Paraformer ASR Model, Embedding Module, Hotword Pre-Retrieval Module, and SeACo Module (or Audio LLMs).
概要
- H-PRMは一次認識文とホットワードの発音表現を照合し、最終認識へ渡す候補を絞る。
- 著者らのCommon-voice-zh評価では、SeACo-ParaformerのPRRが70.63％から93.90％、MERが9.45％から6.57％に変わった。
- 候補件数による結果は認識器ごとに異なるため、業務音声では誤った語の挿入も含めて確かめる必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、H-PRMの仕組み
- 01音声と候補語
- 02一次書き起こし
- 03発音表現を照合
- 04上位候補を選択
- 05候補付き再認識
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
H-PRMは、音声認識で人名や地名などを正しく書き起こすための候補選別器である。ホットワードとは、認識時に特に拾いたい語を指す。学習データにあまり現れない固有名詞は認識を誤りやすく、議事録では名前の誤記につながる。
認識器に渡す候補一覧が長くなると、候補同士が干渉して誤りが増えると著者らは指摘する。発話に関係しそうな語を先に絞ることが、大量の候補を扱う際の課題となる。
手法
まず候補語をピンインまたは音素という発音の単位に変換し、数値で表した特徴を保存する。入力音声はParaformerで一度書き起こし、その文も同じ形式に変える。例えば一次認識で人名が別の漢字になっていても、候補一覧の人名と発音を比べられる。
候補語ごとに発音表現の各部分の近さを並べた表を作り、CNNという表の局所的な並びを学ぶ分類器で点数を付ける。上位N件を選び、SeACoにはParaformerの出力情報とともに渡す。Whisper-smallなどの音声を扱う言語モデルには、選んだ候補をプロンプトに入れ、元の音声から書き起こしを得る。
新規性
H-PRMの提案は、大量のホットワードを認識器に渡す前に、一次認識文との発音の近さで候補を選ぶ独立したモジュールである。候補語と一次認識文を同じ発音表現に変換し、照合結果から順位を付ける。
選んだ候補はSeACo-Paraformerの認識処理に渡せるほか、Whisper-smallやQwen2-Audio-Instructではプロンプトに入れられる。著者らは、この接続方法の違いを通じて複数の認識方式への適用を示した。
従来手法との違い
既存のSeACo-Paraformerは、ホットワードを認識処理に取り込む手法である。著者らは、一覧が大きいと候補同士の干渉が増えると指摘する。H-PRMを加えた構成では、発音に基づいて上位候補を選んでからSeACoへ渡す。
Whisper-smallでは、候補を指定しない構成とOV-KWSを組み合わせた構成も表2に載る。候補数を変えた表4では認識器によって良い設定が異なり、候補を増やせば常に誤りが減るという結果ではない。
実験結果
著者らはAishell-dev/testと、自作のCommon-voice-zh/enで評価した。Common-voice-zhは4090発話、3800ホットワードである。PRRは最終認識での語単位のホットワード再現率、MERは中国語の一文字と英語の一単語を単位に数える誤り率を指す。
表2のCommon-voice-zhでは、SeACo-ParaformerのPRRは70.63％、MERは9.45％で、H-PRM追加時は93.90％、6.57％だった。候補選別の表5では、発音表現同士を比べた上位1件の再現率はAishell-devで92.57％、Common-voice-zhで87.43％と著者らは報告する。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内会議の文字起こしで、製品名と担当者名を確認する用途を想定する。入力は収録音声と更新可能な固有名詞一覧とし、一次認識文に発音が近い候補を選んで最終認識へ渡す。出力は文字起こしと、人が確認する固有名詞の候補とする。
適用を試すには、対象業務の音声、正しい書き起こし、各語が発話されたかを示すラベルが要る。候補選別器を調整する場合は、一次認識文と正解語・不正解語の組も作る。追加センサーを使わず、誤った固有名詞は人が修正する運用を想定する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象業務の音声を集め、正しい書き起こしとホットワードの出現ラベルを付ける。候補一覧にない語や似た発音の別語を含む音声も評価用に残す。候補選別器を業務向けに調整するなら、一次認識文と正解語・不正解語の組を作る。追加センサーは想定しない。
同じ音声で、現在の認識器とH-PRMを加えた構成を比べる。候補件数を認識器ごとに変え、ホットワードのPRR、全体のMER、誤った候補の挿入を測る。語の一覧を更新した後も評価を繰り返し、調整の要否を判断する。
限界と課題
著者らは、選ぶ候補の件数で結果が変わると報告する。表4ではWhisper-smallは概して上位3件、Qwen2-Audio-Instructは上位1件が良く、候補を増やすと誤り率が上がる設定もある。音声を扱う言語モデルにプロンプトで候補を指定する方法には、さらに検討の余地があるとしている。
編集上の検証事項は、業務音声に未知の語や似た発音の別語が含まれるときの候補の取り違えと、不要な語の挿入である。また、表2と表4には同じモデル・データセット名でも候補なしの値が異なる箇所がある。表をまたぐ数値比較の条件は確認が必要だ。
出典
元のタイトル・要旨を確認する（英語）
H-PRM: A Pluggable Hotword Pre-Retrieval Module for Various Speech Recognition Systems
Hotword customization is crucial in ASR to enhance the accuracy of domain-specific terms. It has been primarily driven by the advancements in traditional models and Audio large language models (LLMs). However, existing models often struggle with large-scale hotwords, as the recognition rate drops dramatically with the number of hotwords increasing. In this paper, we introduce a novel hotword customization system that utilizes a hotword pre-retrieval module (H-PRM) to identify the most relevant hotword candidate by measuring the acoustic similarity between the hotwords and the speech segment. This plug-and-play solution can be easily integrated into traditional models such as SeACo-Paraformer, significantly enhancing hotwords post-recall rate (PRR). Additionally, we incorporate H-PRM into Audio LLMs through a prompt-based approach, enabling seamless customization of hotwords. Extensive testing validates that H-PRM can outperform existing methods, showing a new direction for hotword customization in ASR.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01