アーカイブ / Audio
低域の音から高域を予測するHP-codecX：楽音と打音を分けた音声符号を利用
HP-codecX
HP-codecXの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 5: Objective reconstruction metrics, calculated on whole estimated signals ( Global ) and high frequency bands of estimated signals ( HF ). These metrics have been computed on Out-of-Domain test datasets: ENST-Drums, Medley-solos-DB, OrchideaSOL, Monophonic and Polyphonic. The Apollo (Apo) metrics are calculated at 44.1 kHz, while the AudioSR (Aud) and HP-codecX (HPX) metrics have been calculated at 48 kHz. These graphs illustrate the values contained in the Global and HF rows of Table 7 .
概要
- HP-codecXは16 kHzの低域音声から調波・打楽器・残差の符号を取り出し、高域側の符号を予測して48 kHz音声を作る。
- 著者らのMUSDB18評価では、全帯域ViSQOLが3.58で、Apolloの3.26とAudioSRの2.98を上回った。
- 8～24 kHz帯の波形誤差ではApolloを下回る結果であり、保存録音への適用には対象音源での測定と試聴が必要だ。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、HP-codecXの仕組み
- 0116 kHz低域音声
- 02低域の符号を抽出
- 03高域の符号を予測
- 0448 kHz音声に合成
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
HP-codecXは、低い周波数だけが残った音から高い周波数を推定する「帯域拡張」を行う。音楽録音の高域が欠けると、楽器の響きや打音の細部を聴き取りにくくなる。保存音源の試聴や修復では、どこまで自然に補えるかが問題になる。
低域だけから元の高域を一意に決めることはできない。著者らは、音を離散的な番号列に変えるニューラル音声コーデックを作り、その番号列から欠けた成分を予測する方法を検討した。
手法
まずHP-codecを原音で学習する。16 kHzの低域用と48 kHzの高域用の枝を設け、それぞれの符号を調波（音程を持続させる成分）、打楽器成分（短い打音）、残差（残りの成分）に分ける。高域側は、原音と低域側の復元音との差を扱う。符号とは短い音の区間を表す離散的な番号である。
実行時は、8 kHzまでの成分を持つ16 kHz音声を低域側で符号化する。Transformerという番号列の関係を学ぶモデルが、三つの成分それぞれについて高域側の符号を二段階で予測する。例えば低域だけ残った楽器録音なら、予測した符号を復号して高域成分を作り、48 kHzに変換した入力音に加える。
新規性
著者らが提案するのは、高域の予測に合わせて音声コーデックの符号表現を設計する方法だ。低域と高域を別の枝で扱い、各枝の符号を調波・打楽器・残差に分ける。
その構造に合わせて三つの予測器を設け、低域の符号から対応する高域の符号を推定する。符号の作り方と予測器の組み合わせが、著者らの主張する進歩に当たる。
従来手法との違い
比較対象のApolloは既存のコーデックを帯域拡張向けに変更し、AudioSRは音の周波数表現に拡散過程を適用する。HP-codecXは低域を離散符号に変え、その符号から高域側の符号を予測して波形を復元する。
著者らによると、Apolloは44.1 kHzで低ビットレートのMP3劣化音源を使って学習し、AudioSRは48 kHzで複数の低域通過フィルターを使う。報告された差には、こうした学習条件と出力の標本化周波数の違いも含まれる。
実験結果
著者らはMUSDB18の学習用部分とJAMENDOの音楽で学習し、MUSDB18のテスト用50曲から抽出した1000標本で評価した。全帯域のViSQOLはHP-codecXが3.58、Apolloが3.26、AudioSRが2.98だった。ViSQOLは聴感上の品質を推定する指標で、高いほど良い。
非専門家15人がMUSDB18から選んだ12組を評価した試聴試験では、100点尺度の平均が順に65.6、56.4、58.7だった。一方、8～24 kHz帯の波形誤差はHP-codecXが0.012、Apolloが0.008で、小さいほど良いこの指標ではApolloが優れた。原音は44.1 kHzで収録され、評価用に48 kHzへ変換されている。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：高域が欠けた保存済みの音楽録音を、修復候補として試聴する。入力を8 kHzまでの成分を持つ16 kHz音声とし、推定した高域を加えた48 kHz音声を出力する。担当者が区間ごとに聴き、採用を判断する。
対象に合わせた学習には、似た音楽の原音と、そこから作る低域音の対が必要だ。調波・打楽器・残差の学習対象は原音から分解して作るため、手作業の成分ラベルや新たなセンサーは想定しない。保存録音での品質は仮説として検証する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象に近い音楽の原音を集め、8 kHzまでに制限した16 kHz音声との対を作る。原音から調波・打楽器・残差を分解して学習対象を用意し、対象音源に合わせてモデルを学習・調整する。手作業の成分ラベルや新しいセンサーは要件に含めない。
曲単位で学習用と評価用を分け、低域音声を48 kHzに変換しただけの音を基準にする。原音と照合してViSQOLと高域の波形誤差を測り、担当者による試聴では打音や楽器の響きに不自然さがないかを区間ごとに記録する。
限界と課題
著者らは、SI-SDRという波形の歪みを測る指標が、生成音の聴感上の品質を捉えにくい場合を指摘する。MUSDB18の高域だけを測った波形誤差では、HP-codecXの0.012はApolloの0.008より大きい。試聴評価は非専門家15人が通常のオフィス環境で行った。
編集上の検証事項は、雑音や経年劣化を含む保存録音で不自然な高域が生じないかである。追加データ群の比較は図への言及まで確認でき、個別の数値は示されていない。音声通話への効果も、この音楽中心の評価からは判断できない。
出典
元のタイトル・要旨を確認する（英語）
Harmonic-Percussive Disentangled Neural Audio Codec for Bandwidth Extension
Bandwidth extension, the task of reconstructing the high-frequency components of an audio signal from its low-pass counterpart, is a long-standing problem in audio processing. While traditional approaches have evolved alongside the broader trends in signal processing, recent advances in neural architectures have significantly improved performance across a wide range of audio tasks, In this work, we extend these advances by framing bandwidth extension as an audio token prediction problem. Specifically, we train a transformer-based language model on the discrete representations produced by a disentangled neural audio codec, where the disentanglement is guided by a Harmonic-Percussive decomposition of the input signals, highlighting spectral structures particularly relevant for bandwidth extension. Our approach introduces a novel codec design that explicitly accounts for the downstream token prediction task, enabling a more effective coupling between codec structure and transformer modeling. This joint design yields high-quality reconstructions of the original signal, as measured by both objective metrics and subjective evaluations. These results highlight the importance of aligning codec disentanglement and representation learning with the generative modeling stage, and demonstrate the potential of global, representation-aware design for advancing bandwidth extension.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01