アーカイブ / Audio
録音が少ないSENĆOTEN語を文字化する：合成音声と事前学習モデルの検証
SENĆOTEN ASR Documentation Pipeline
SENĆOTEN ASR Documentation Pipelineの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: The proposed multi-stage ASR-driven pipeline to support SENĆO T EN language documentation.
概要
- SENĆOTEN語の録音と書き起こしに、文章から合成した音声を加え、事前学習済み音声モデルを適応させる。
- 単一話者のテスト集合で、8時間の合成音声と大きい4-gram言語モデルを使った条件のWERは19.34％、CERは5.09％だった。
- セディーユ関連の誤りを除いた再集計ではWERは14.32％だった。現場での修正負担は別途検証が必要である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、SENĆOTEN ASR Documentation Pipelineの仕組み
- 01書き起こし付き録音
- 02音声合成器を学習
- 03文章を音声化
- 04認識モデルを適応
- 05新録音を文字化
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
SENĆOTEN語の録音を文字に起こすには、対象言語の音声と正しい書き起こしを対応付けたデータが役立つ。しかし、利用できる対は少ない。複数の意味要素が一語にまとまる語形や、強勢に伴う音の順序の変化も、学習時に見なかった単語を増やす。
同言語では継承と教育の取り組みが続いている。音声認識で書き起こし案を作ることは、録音の記録や教材づくりを助ける候補となるが、現場での有用性は人による確認作業も含めて判断する必要がある。
手法
まず、正しい文章が対応するSENĆOTEN語の録音で、文章から音声を作る音声合成器を学習する。録音のない文章をその合成器に入力して音声を作り、元の録音と合わせて音声基盤モデルを同言語向けに調整する。音声基盤モデルとは、多くの音声で事前学習されたモデルである。
新しい録音の文字起こしには、利用できる文章で学習した4-gram言語モデルも組み合わせる。これは連続する四つまでの語の並びを手掛かりに候補を評価する仕組みで、モデルに応じて認識中または候補生成後に使う。例えば聞き取り録音を入力し、担当者が確認する書き起こし案を得る。
新規性
著者らは、SENĆOTEN語の文字起こしに向け、音声のない文章から作った合成音声を学習に加え、事前学習済みの音声モデルを適応させる手順を提示した。音声から文字列を直接予測する方式を採り、固定の発音辞書を必要としない。
著者らは、カナダ先住民言語の記録を目的とした音声基盤モデルの体系的な検討と、SENĆOTEN語向けの音声認識手順を貢献として挙げる。学習用録音に現れなかった単語の認識結果も調べている。
従来手法との違い
比較には、従来型の時系列音声認識モデルであるTDNNと、複数の事前学習済み音声モデルが含まれる。著者らは音声基盤モデルがTDNNを上回ったと述べるが、確認できた本文の範囲にはTDNNの数値表がなく、差の大きさは示せない。
同じSENĆOTEN語テスト集合では、Whisper-large-v2と大きい4-gram言語モデルを使い、合成音声を加えない条件の全体WERは22.67％だった。8時間の合成音声を加えた条件では19.34％であり、この比較は当該モデルと評価条件に限られる。
実験結果
著者らは、約4時間の単一話者録音を使ったSENĆOTEN語データで評価した。無音除去後の学習用音声は1.7時間、テスト用は0.2時間で、元の学習用データを基準とするテスト集合の未知語率は57.02％だった。指標は単語誤り率（WER）と文字誤り率（CER）で、いずれも低いほど誤りが少ない。
Whisper-large-v2に8時間の合成音声と大きい4-gram言語モデルを使った条件で、著者らはWER 19.34％、CER 5.09％を報告した。文字の補助記号であるセディーユの過不足に由来する誤りを除いて再集計すると、WER 14.32％、CER 3.45％、学習用録音にない単語のWER 26.48％だった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：地域の言語記録担当者が、利用を認められた聞き取り録音を確認する場面を想定する。録音ファイルかマイクで収録した音声を入力し、文字起こし候補を出力して、担当者が区間ごとに聞き直して修正する。
適応には、対象言語の録音と確認済み書き起こしの対、音声のない文章、表記の基準が要る。マイクは新規収録時に使い、既存録音なら追加の収録機器は前提にしない。候補の提示によって作業時間が減るかは、この用途で別途測る。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：利用を認められた録音、専門家が確認した書き起こし、音声のない文章をそろえる。録音と書き起こしの対を学習用と評価用に分け、表記の基準を決める。学習用の対で音声合成器を適応させ、合成音声と元の録音で認識モデルを調整する。
評価には別に確保した録音と正解文を使う。合成音声を使わない条件を基準にWER、CER、未知語のWERを比べ、担当者の修正時間とセディーユの修正件数も記録する。入力が既存の録音かマイク収録かを記録し、収録条件による違いも確認する。
限界と課題
著者らは、初期実験を現場の言語記録や継承活動につなぐには、さらに手順や取り決めが必要だと述べる。今後の課題には、強勢に伴って語内の音の順序が変わる現象のモデル化を挙げている。
編集上の検証事項は、別の話者や録音環境でも認識できるか、担当者による未知語と表記の修正にどれだけ時間がかかるかである。セディーユの過不足による誤りを除いた再集計値は、出力をそのまま使う場合の誤り率と区別する必要がある。
出典
元のタイトル・要旨を確認する（英語）
Supporting SENCOTEN Language Documentation Efforts with Automatic Speech Recognition
The SENCOTEN language, spoken on the Saanich peninsula of southern Vancouver Island, is in the midst of vigorous language revitalization efforts to turn the tide of language loss as a result of colonial language policies. To support these on-the-ground efforts, the community is turning to digital technology. Automatic Speech Recognition (ASR) technology holds great promise for accelerating language documentation and the creation of educational resources. However, developing ASR systems for SENCOTEN is challenging due to limited data and significant vocabulary variation from its polysynthetic structure and stress-driven metathesis. To address these challenges, we propose an ASR-driven documentation pipeline that leverages augmented speech data from a text-to-speech (TTS) system and cross-lingual transfer learning with Speech Foundation Models (SFMs). An n-gram language model is also incorporated via shallow fusion or n-best restoring to maximize the use of available data. Experiments on the SENCOTEN dataset show a word error rate (WER) of 19.34% and a character error rate (CER) of 5.09% on the test set with a 57.02% out-of-vocabulary (OOV) rate. After filtering minor cedilla-related errors, WER improves to 14.32% (26.48% on unseen words) and CER to 3.45%, demonstrating the potential of our ASR-driven pipeline to support SENCOTEN language documentation.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01