アーカイブ / LLM / Generative AI
推薦向けの表データを合成するSampleLLM:例の選択と生成後の分布補正
SampleLLM
SampleLLMの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2. The overall structure of SampleLLM. (a) In the first stage, a manually designed instruction and a a samples extracted with clustering sampling are used as inputs to the LLM, which generates b b synthetic samples. This process is repeated Q Q times. (b) In the second stage, a novel feature attribution-based importance sampling method is employed on the synthetic samples.
概要
- SampleLLMは元データから多様な例を選んでLLMで表データを生成し、重みに応じた再抽出で出現傾向を調整する。
- 著者らの追加学習実験では、ML-1MのAUCが合成行なしの0.8173に対し0.8180だった。
- CovertypeのRecallはGReaTを下回る。オンライン導入の評価条件と数値は、確認できた本文の範囲では不明である。
補足:編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、SampleLLMの仕組み
- 01元の特徴・ラベル表
- 02指示文と例の選択
- 03LLMで候補行生成
- 04重みで再抽出
- 05合成表
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
SampleLLMは、推薦モデルの学習に使う表形式の合成データを作る方法だ。推薦では記録が少ない利用者や項目の組み合わせもあり、限られた行から特徴と正解ラベルの関係を捉える必要がある。
大規模言語モデル(LLM)は少数の例から新しい行を作れるが、生成した値の出現傾向が元データとずれる場合がある。行が自然に見えても、特徴同士の関係が違えば学習データを補う目的に合わない。
手法
まず、列の意味や生成形式を伝える指示文を用意し、元の行をK-meansという似た行をまとめる手法で分け、各集まりから例を選ぶ。少数例を指示文とともにLLMへ渡し、特徴とラベルを持つ候補行を繰り返し生成する。例えば推薦履歴なら、同じ列構成の新しい履歴行が候補になる。
次に、元データで予測に強く関わる特徴の組み合わせを推定する。関係の強い項目はまとめ、それ以外は独立とみなして、元データと候補データで各行が現れる度合いを計算する。その比を重みにして候補行を選び直す「重要度サンプリング」により、最終的な合成表を得る。
新規性
著者らは、推薦向けのLLMによる表データ合成で、元データとの分布の整合を扱う初の方法だと位置付ける。分布とは、値や値の組み合わせの出現傾向を指す。
多様な例を選んで生成する工程と、特徴間の関係を考慮して候補行を再抽出する工程を組み合わせた点が主張の中心である。
従来手法との違い
比較対象には、表データ生成手法のCTGAN、TVAE、TabDDPM、PATE-GAN、ADS-GANと、言語モデルを使うGReaT、REaLTabFormerが含まれる。SampleLLMは元の行を集まりごとに選んで生成し、さらに候補行の採用頻度を調整する。
著者らは、少数の例を無作為に選ぶと元データの一部を見落とし得ると説明する。生成後の分布差にも対処する設計だが、比較結果は掲載されたデータと評価条件の範囲で読む必要がある。
実験結果
著者らは推薦データのML-1M、Amazon、Doubanでクリック率予測を、HELOCで二値分類、Covertypeで多クラス分類を評価した。各データを学習・検証・テストに8対1対1で分割した。元データに合成行を加える実験では、ML-1MのAUCはSampleLLMが0.8180、合成行なしが0.8173だった。
同じ追加学習の表で、AmazonのAUCは0.7082、Doubanは0.8027と著者らは報告する。一方、CovertypeのRecallは0.7437で、GReaTの0.7440を下回る。オンライン導入にも言及しているが、確認できた本文の範囲では評価条件と数値は示されていない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案:商品表示に対するクリック予測で、履歴が少ない商品群の学習データを補う用途を試す。入力には既存の表示履歴と商品属性を含む表、正解ラベルにはクリックの有無が必要で、追加のセンサーは想定しない。
列の意味と値の形式を整理して指示文に反映し、元の学習行から例を選んで候補行を作る。出現傾向を見ながら再抽出した行を学習に加える運用案であり、クリック率の改善は検証すべき仮説である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案:既存の推薦履歴から特徴列とクリックの有無を示すラベルを備えた学習表を用意する。追加のセンサーは使わず、列の意味と値の形式を確認して指示文を作り、学習側の行だけを使って例の選択と合成を行う。
元データだけで学習した予測モデルを基準に、合成行を加えた同じモデルを未使用のテストデータで比べる。AUCとLoglossに加え、特徴・ラベルの出現頻度や組み合わせのずれを測る。再抽出を外した場合も比べ、補正工程の寄与を確認する。
限界と課題
著者らが報告する課題は、一般的なLLM生成で元データとの分布差や多様性の不足が生じ得ることだ。SampleLLMは二段階で対処するが、すべての分布差が解消するとは示していない。
編集上の検証事項は、少数データでの重み推定の安定性、まれな特徴の組み合わせの保持、元の行の過度な再現である。オンライン導入への言及はあるものの、確認できた本文の範囲ではその規模、条件、数値を判断できない。
出典
元のタイトル・要旨を確認する(英語)
SampleLLM: Optimizing Tabular Data Synthesis in Recommendations
Tabular data synthesis is crucial in machine learning, yet existing general methods-primarily based on statistical or deep learning models-are highly data-dependent and often fall short in recommender systems. This limitation arises from their difficulty in capturing complex distributions and understanding feature relationships from sparse and limited data, along with their inability to grasp semantic feature relations. Recently, Large Language Models (LLMs) have shown potential in generating synthetic data samples through few-shot learning and semantic understanding. However, they often suffer from inconsistent distribution and lack of diversity due to their inherent distribution disparity with the target dataset. To address these challenges and enhance tabular data synthesis for recommendation tasks, we propose a novel two-stage framework named SampleLLM to improve the quality of LLM-based tabular data synthesis for recommendations by ensuring better distribution alignment. In the first stage, SampleLLM employs LLMs with Chain-of-Thought prompts and diverse exemplars to generate data that closely aligns with the target dataset distribution, even when input samples are limited. The second stage uses an advanced feature attribution-based importance sampling method to refine feature relationships within the synthesized data, reducing any distribution biases introduced by the LLM. Experimental results on three recommendation datasets, two general datasets, and online deployment illustrate that SampleLLM significantly surpasses existing methods for recommendation tasks and holds promise for a broader range of tabular data scenarios.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01




