表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

氏名からの属性推定はどこまで使えるか:LLMと従来法の比較

LLM-Based Ethnicity Inference

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理

概要

  • 米国2州の人種別に均等抽出した各1万人では、氏名全体と郡を使うGemini 3 Flashの正解率が83.8%と83.5%で、BISGの68.2%と68.9%を上回った。
  • レバノンの宗派、インドのカースト関連区分にも適用したが、対象地域と集団によって精度が大きく変わった。
  • 実務で使う前に、対象地域の正解付き標本で分類項目別の誤りを確かめる必要がある。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、LLM-Based Ethnicity Inferenceの仕組み

左から右へ読む
  1. 01氏名と地域
  2. 02分類項目を指定
  3. 03LLMで判定
  4. 04属性区分を出力

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

行政記録には氏名があっても、人種や民族などの属性がないことがある。代表性や投票行動を集計する研究では、その欠落を補う推定が必要になる。ここでいう属性には、論文の用法に従い宗教宗派やカーストも含む。

米国で使われるBISGは、姓と地域の人口構成から人種を推定する。ただし、対応する統計が必要で、区分も米国の人種分類に沿うため、別の国や分類項目へそのまま広げにくい。

手法

記録ごとに氏名と地域を文章に入れ、候補となる分類項目を列挙してLLMに一つだけ返させる。米国の選挙人名簿では郡を地域情報とし、レバノンでは宗教宗派を候補にするなど、対象に応じて質問文を変える。温度はゼロに設定し、回答の揺れを抑えた。

たとえば氏名と郡を渡し、州の名簿で使う人種区分から一つ選ばせる。著者は追加の学習例を示さない単純な質問文を基本とし、氏名だけ、姓だけ、地域情報付きといった入力条件も比べた。大量の記録向けには、LLMの回答を教師ラベルにして小型モデルを追加学習する方法も試した。

新規性

著者の提案は、対象地域ごとの氏名と属性を結び付けた学習データを用意せず、地域に合った分類項目を文章で指定できる点にある。米国の人種に加え、宗教宗派やカーストも検証対象にした。

ただし、分類項目を柔軟に指定できることと、各項目を正しく識別できることは別である。結果には地域差、集団差、モデル差があり、名前に手掛かりが乏しい集団では精度が下がる。

従来手法との違い

比較対象のBISGは、姓ごとの人種分布と地域の人口構成を組み合わせ、各分類項目の確率を出す方法である。論文の主な比較では、BISGに姓と郡、LLMに氏名全体と郡を渡し、最も確率が高い項目を回答とした。

フロリダ州の均等抽出標本ではGemini 3 Flashが83.8%、BISGが68.2%だった。一方、氏名全体と地域を使う条件でもGLM-4.7-Flashは62.3%であり、LLMなら常に従来法を上回るという結果ではない。

実験結果

著者はフロリダ州とノースカロライナ州の選挙人名簿から、各州1万人を人種別に同数抽出して検証した。氏名全体と郡を使うGemini 3 Flashの正解率はそれぞれ83.8%、83.5%、姓と郡を使うBISGは68.2%、68.9%だった。この数値は人口構成どおりの標本での精度を表さない。

レバノンの宗派は3500件で64.3%、インドの指定議席選出議員130人の二分類は99.2%だった。インドの別の四分類では、ビハール州の土地記録が74.0%、ラジャスタン州の村長記録が57.0%で、同じ国でも差がある。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:公的統計の集計区分と照合できる選挙研究で、個人を確定分類するためではなく、推定方法による集計のずれを調べる。入力は氏名と対象地域、出力は事前に定めた区分ごとの推定結果と集計比率とする。

研究者は、本人申告などで正解を確認できる標本を先に確保する。そこで分類別の誤りを調べてから、正解ラベルのない記録の集計に進み、結果には推定値であることと検証した範囲を明記する。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:まず対象地域と分類項目を固定し、本人申告などの正解がある少量の記録を用意する。氏名全体と地域を使う質問文を固定し、姓と地域による既存の推定法を比較基準に置く。

全体の正解率に加え、分類項目別の再現率を測る。再現率は、その集団に属する人をどれだけ拾えたかを示す割合である。地域や集団ごとの誤りが大きければ集計への利用を見送り、入力情報を増やす場合は同じ標本で改善を確かめる。

限界と課題

著者が示す制約は、名前の特徴が重なる集団や地域で精度が落ちることだ。レバノンの宗派では集団間の差が大きく、コスタリカの先住民比率も国勢調査値より低く推定された。推論時間を増やす設定の効果も州によって一定ではない。

編集上の確認事項は、本人申告の属性を正解とする範囲、氏名の表記揺れ、地域別の誤分類、個人情報の扱いである。政党登録を入力に足す場合は、政治行動との関係を後で分析するときに結果をゆがめないかも確かめたい。

応用先の候補
研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

Large Language Models Naively Recover Ethnicity from Individual Records

I demonstrate that large language models can infer ethnicity from names with accuracy exceeding that of Bayesian Improved Surname Geocoding (BISG) without additional training data, enabling inference outside the United States and to contextually appropriate classification categories. Using stratified samples from Florida and North Carolina voter files with self-reported race, LLM-based classification achieves up to 84.7% accuracy, outperforming BISG (68.2%) on balanced samples. I test six models including Gemini 3 Flash, GPT-4o, and open-source alternatives such as DeepSeek v3.2 and GLM-4.7. Enabling extended reasoning can improve accuracy by 1-3 percentage points, though effects vary across contexts; including metadata such as party registration reaches 86.7%. LLM classification also reduces the income bias inherent in BISG, where minorities in wealthier neighborhoods are systematically misclassified as White. I further validate using Lebanese voter registration with religious sect (64.3% accuracy), Indian MPs from reserved constituencies (99.2%), and Indian land records with caste classification (74.0%). Aggregate validation across India, Uganda, Nepal, Armenia, Chile, and Costa Rica using original full-count voter rolls demonstrates that the method recovers known population distributions where naming conventions are distinctive. For large-scale applications, small transformer models fine-tuned on LLM labels exceed BISG accuracy while enabling local deployment at no cost.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-09-30