アーカイブ / Audio / LLM
インドネシア語・タイ語・ベトナム語の音声を理解するSeaLLMs-Audio
SeaLLMs-Audio
SeaLLMs-Audioの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Illustration of data curation process for SeaLLMs-Audio.
概要
- SeaLLMs-Audioはインドネシア語・タイ語・ベトナム語を主な対象に、音声の書き起こし、翻訳、要約、質問応答などを扱う。
- 著者らは14作業・計580問のSeaBench-Audioを作り、東南アジア３言語の総合評価で比較モデル中最高と報告した。
- 作業別ではMERaLiON-2が上回る項目があり、著者らは回答に言語の混在が残ることも認めている。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、SeaLLMs-Audioの仕組み
- 01タイ語音声と要約指示
- 02音声特徴を抽出
- 03特徴と指示を接続
- 04要約文を生成
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
SeaLLMs-Audioは、音声を受け取り、内容に応じた文章を返すモデルである。著者らによると、既存の大規模音声言語モデルは英語など少数の言語を中心とし、東南アジアの言語を使う音声業務を検討する際の選択肢が限られていた。
地域向けの既存評価も、文章中心か音声の書き起こしなど個別の作業に偏っていた。要約や質問応答を含む複数の作業でモデルを比べるには、共通の評価用問題が必要になる。
手法
音声だけ、文章だけ、または両方を入力できる。たとえばタイ語の発話と要約指示を与えると、音声エンコーダーが音を後段で扱える数値の特徴に変え、言語モデルが指示と特徴に基づいて文章を作る。エンコーダーとは、音声から必要な特徴を取り出す部分である。
構成にはQwen2-Audio-7Bの音声エンコーダーとQwen2.5-7B-Instructの言語モデルを用い、両者をつなぐアダプターを新たに初期化した。著者らは形式の異なる公開・非公開データを整え、翻訳文の作成や文章の質問の音声化も行った。書き起こし、翻訳、要約、質問応答などを含む158万件の会話で全パラメーターを調整し、その７％は複数往復の対話だった。
新規性
著者らは、インドネシア語・タイ語・ベトナム語を主な対象とする大規模音声言語モデルを提案した。音声の書き起こし、翻訳、要約、質問応答などを同じモデルで扱い、英語と中国語にも対応する。
併せて、東南アジアの音声理解を複数の作業で評価するSeaBench-Audioを作成した。モデルと評価用の問題群を揃えた点が、著者らの主張する貢献である。
従来手法との違い
比較対象はQwen2-Audio-7B-Instruct、Qwen2.5-Omni-7B、MERaLiON-AudioLLM-Whisper-SEA-LION、MERaLiON-2-10Bである。SeaLLMs-AudioはQwen2-Audioの音声処理部分を使い、文章を作る部分をQwen2.5-7B-Instructに置き換える。
著者らは、SeaBench-Audioの東南アジア３言語では総合評価と出力言語の品質が最も高いと報告する。一方、３言語で平均した書き起こしや音声から文章への翻訳などの作業別評価では、MERaLiON-2が上回った。
実験結果
著者らはSeaBench-Audioの14作業、計580問で評価した。インドネシア語・タイ語・ベトナム語は各150問、英語は翻訳課題を除く130問で、母語話者の評価者とGemini-2.5-flashが回答を５段階で採点した。
著者らは東南アジア３言語の総合評価で比較モデル中最高と報告する。ただし３言語で平均した書き起こしの人手評価はSeaLLMs-Audioが3.9点、MERaLiON-2が4.2点だった。人手と自動採点の平均相関係数は0.8で、２モデルの優劣判定の一致率は同点を含め69％、同点を除くと93％と報告している。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：インドネシア語の顧客相談音声を入力し、担当者向けに原語の要点メモと回答案を文章で出す。担当者が原音と照合してから記録する流れを想定する。実務上の効果は未検証である。
試用時は利用許可を得た通話音声が必要で、収録済み音声を使うなら追加センサーは想定しない。追加学習を行う場合は、同じ業務の音声と、正しい書き起こし・要約・回答のラベルを用意し、専門用語を含む例で調整する必要がある。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：利用許可を得たインドネシア語の通話音声を集め、母語話者が正しい書き起こし、要約、回答例を付ける。収録済み音声を入力とし、追加センサーは想定しない。既存の書き起こし・要約手順を比較対象にする。
同じ通話を両方式で処理し、要点の欠落、回答の事実誤り、言語混在、担当者の修正時間を記録する。雑音や話者の重なりがある通話も分けて確認する。追加学習する場合は業務音声と正解ラベルを使って調整し、別に確保した通話で結果を測り直す。
限界と課題
著者らは、人員と計算資源の制約から、モデルと評価用の問題群が対象とする東南アジア言語を３言語に絞ったと述べる。また、回答に言語の混在が残ることを認めている。英語と中国語への対応は記されているが、他の東南アジア言語の性能は示されていない。
編集上の検証事項は、実際の通話にある雑音、話者の重なり、業界固有語が結果に与える影響である。学習には非公開データも含まれるため、自社で追加学習する際は、利用できる音声と正解ラベルを別途確保できるか確認したい。
出典
元のタイトル・要旨を確認する（英語）
SeaLLMs-Audio: Large Audio-Language Models for Southeast Asia
We introduce SeaLLMs-Audio, the first large audio-language model (LALM) tailored for multiple Southeast Asian (SEA) languages-Indonesian (id), Thai (th), and Vietnamese (vi)-alongside English (en) and Chinese (zh). Trained on a large-scale audio corpus, SeaLLMs-Audio exhibits strong performance across diverse audio-centric tasks, spanning fine-grained audio understanding and voice-based interaction. Its key features include: 1) Multilingual: the model primarily supports 5 languages, namely Indonesian, Thai, Vietnamese, English, and Chinese; 2) Multimodal: the model accepts flexible input modalities, including audio only, text only, as well as audio with text; 3) Multi-task: the model supports a wide range of tasks, including audio analysis tasks such as Audio Captioning, Automatic Speech Recognition, Speech-to-Text Translation, Speech Emotion Recognition, Speech Question Answering, and Speech Summarization. It also enables voice-based dialogue, including answering factual, mathematical, and general knowledge queries. As a significant step towards advancing audio LLMs in Southeast Asia, we expect SeaLLMs-Audio to benefit both the regional research community and industry. To automate LALM evaluation for Southeast Asia, we introduce SeaBench-Audio, a benchmark spanning multiple tasks. Experiments show that SeaLLMs-Audio achieves competitive performance compared with other LALMs on SEA languages.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01