アーカイブ / LLM
RNAと相手分子の特徴を双方向Mambaで融合し、相互作用を予測する
CrossLLM-Mamba
CrossLLM-Mambaの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Sequence Embedding and Feature Extraction Pipeline. The proposed framework utilizes specialized pre-trained large language models to encode biological entities into high-dimensional feature vectors. (Top) Protein amino acid sequences are encoded using ESM2 . (Middle) RNA nucleotide sequences are processed via RiNALMo . (Bottom) Small molecule graphs are constructed and encoded using MoleBERT . These distinct embedding streams serve as the initial input features for the downstream dual-path Mamba architecture.
概要
- RNAと相手分子を専用モデルで特徴化し、双方向Mambaで融合して相互作用を予測する。
- 著者らのRPI1460評価では、MCCは提案法が0.892、BioLLMNetが0.848だった。
- 実用検証には対象領域のラベル付きペアが必要で、非相互作用ラベルの確かさと未知の配列への成績を確認したい。
補足:編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、CrossLLM-Mambaの仕組み
- 01RNA・タンパク質配列
- 02専用モデルで特徴化
- 03共通次元に変換
- 04双方向Mambaで融合
- 05相互作用確率
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
CrossLLM-Mambaは、RNAとタンパク質、小分子、別のRNAとの相互作用を予測する方法だ。こうした相互作用は細胞内の調節や創薬研究に関わり、実験で調べる候補を選ぶための予測が求められる。
RNAと相手分子をそれぞれ数値の特徴に変換しても、特徴を単純につなぐだけでは相手に応じた関係を表しにくい、と著者らは指摘する。その関係を特徴の融合段階でどう扱うかが、本研究の課題である。
手法
RNAとタンパク質の組なら、それぞれの配列を学習済みのRiNALMoとESM-2に入力し、数値を並べた特徴ベクトルに変える。小分子を扱う場合は、分子の構造を文字で表すSMILESをMoleBERTで特徴化する。これらのモデルは特徴抽出器として固定し、得た特徴を同じ大きさに変換する。学習中は特徴に小さなガウスノイズを加える。
次に各分子の特徴を双方向Mambaで処理し、二つの特徴を並べて再び双方向Mambaに通す。Mambaは処理途中の情報を内部状態として引き継ぐ仕組みで、双方向とは並びを前後から読むことだ。処理後の特徴を平均し、予測器から相互作用の確率を出す。小分子との結合の強さを扱う課題では、確率ではなく数値を予測する。
新規性
著者らの提案は、分子ごとに得た特徴を共通の大きさにそろえ、双方向Mambaの内部状態を通じて融合する点にある。内部状態とは、先に処理した特徴から次の特徴へ引き継ぐ情報を指す。
二つの分子の特徴を並べて処理することで、相手の特徴を踏まえた表現を作る設計だ。著者らは、この処理の計算量が入力長に対して線形に増えると説明している。
従来手法との違い
RPI1460の比較表には、配列から作った特徴を使うRPISeq-RFや、学習済みモデルの特徴を融合するBioLLMNetなどが載る。BioLLMNetのMCCは0.848、CrossLLM-Mambaは0.892だった。MCCは正例と負例の予測をまとめて評価する指標である。
著者らが課題とする固定的な特徴融合に対し、提案法は分子間で情報を伝えながら融合する。ただし、表の成績差には特徴の変換や学習方法の違いも含まれ得るため、融合部だけの効果を示す比較とは読めない。
実験結果
著者らはRNAとタンパク質、小分子、別のRNAの三種類を評価した。RPI1460は実験で確認された相互作用1,460組と、ランダムに作った同数の非相互作用組からなる。5分割交差検証でのMCCは提案法が0.892、BioLLMNetが0.848だった。
小分子との結合の強さは10分割交差検証で評価し、著者らの表では予測値と実測値の直線的な関係を示すPearson相関がrepeat RNAで0.9521、riboswitchで0.9562だった。植物のRNA同士では、ある種で学習して別の種で試す六通りを評価している。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案:研究室で、追加実験に回すRNAとタンパク質の組を選ぶ。両者の配列を入力し、各組の相互作用確率と順位を出力する。研究者が上位候補を確認し、実験対象を決める際の参考にする。
実施には、対象領域の配列と、相互作用の有無を確認したペアのラベルが必要だ。追加のセンサー入力は想定しない。専用モデルで配列を特徴化し、対象データに合わせて融合部と予測部を学習したうえで、候補の順位を実験結果と照らす。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案:RNAとタンパク質の候補選別に対象を絞り、両者の配列と、相互作用の有無を確認したラベル付きペアを用意する。追加のセンサー入力は使わない。非相互作用ラベルの作り方を記録し、専用モデルで特徴化した後、対象データで融合部と予測部を学習する。
比較対象には、同じ特徴を単純につないで予測する方法を置く。学習側の配列が評価側に混ざらないよう分け、MCC、適合率、再現率を両方式で測る。少数の上位候補を実験に回す運用なら、上位候補に確認済みの相互作用がどれだけ含まれるかも調べる。
限界と課題
著者らは既存手法の課題として、固定的な特徴融合、クラスの偏り、判別しにくい非相互作用例を挙げる。提案法には学習時のノイズ付加と、難しい例を重視する損失関数を組み込んだ。確認できた本文の範囲では、各要素の寄与を分けた結果は確認できない。
編集上の検証事項は、ランダム生成された非相互作用ペアでの成績が実際の候補選別にも通じるか、未知の配列にも対応できるかである。また、小分子との評価表ではmiRNAのPearson相関がBioLLMNetを下回る。すべての分類で優位という結論は避ける必要がある。
出典
元のタイトル・要旨を確認する(英語)
CrossLLM-Mamba: Multimodal State Space Fusion of LLMs for RNA Interaction Prediction
Accurate prediction of RNA-associated interactions is essential for understanding cellular regulation and advancing drug discovery. While Biological Large Language Models (BioLLMs) such as ESM-2 and RiNALMo provide powerful sequence representations, existing methods rely on static fusion strategies that fail to capture the dynamic, context-dependent nature of molecular binding. We introduce CrossLLM-Mamba, a novel framework that reformulates interaction prediction as a state-space alignment problem. By leveraging bidirectional Mamba encoders, our approach enables deep ``crosstalk'' between modality-specific embeddings through hidden state propagation, modeling interactions as dynamic sequence transitions rather than static feature overlaps. The framework maintains linear computational complexity, making it scalable to high-dimensional BioLLM embeddings. We further incorporate Gaussian noise injection and Focal Loss to enhance robustness against hard-negative samples. Comprehensive experiments across three interaction categories, RNA-protein, RNA-small molecule, and RNA-RNA demonstrate that CrossLLM-Mamba achieves state-of-the-art performance. On the RPI1460 benchmark, our model attains an MCC of 0.892, surpassing the previous best by 5.2\%. For binding affinity prediction, we achieve Pearson correlations exceeding 0.95 on riboswitch and repeat RNA subtypes. These results establish state-space modeling as a powerful paradigm for multi-modal biological interaction prediction.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01




