アーカイブ / LLM
1900〜1950年の中国語資料をAIで読む：語の区切りと固有名詞の精度を比較
Historical Chinese NLP Comparison
Historical Chinese NLP Comparisonの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Boxplot of F1 Score for Temporal Change by Model for non-poetry texts, capturing the median (line), interquartile range (boxes), and spread of data (whiskers).
概要
- 208件・8,610字の歴史中国語標本で、語分割、品詞、固有表現を比較した。
- 著者らの評価ではGPT-4oの語分割F1は91.97%、spacy_bertは82.50%で、処理時間は大きく異なった。
- 詩や年代による差と、語の区切りに複数の妥当な解釈がある点を導入時に確認する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Historical Chinese NLP Comparisonの仕組み
- 01歴史中国語の文
- 02語と品詞を付与
- 03固有表現を判定
- 04構造化データ
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この研究は、1900〜1950年の中国語資料を機械で分析するとき、文字列をどこで語に区切るかを扱う。中国語には語間の空白がなく、この時期は語の使い方も変化したため、現代語向けの道具では判断が難しい。
区切りを誤ると、語の出現回数や人名・地名の検索にも影響する。歴史資料を大量に読む際、精度だけでなく処理時間を把握することが実務上の判断につながる。
手法
著者らは上海図書館の清末・民国期定期刊行物から208の短い文章を取り、共同で語の区切りとラベルを付けた。各文章を2人が確認し、意見が割れた箇所は協議した。この正解データに対して、JiebaやspaCyと複数の大規模言語モデルの出力を比べる。
モデルには、元の文字や句読点を消さず、各語の文字列、品詞、固有表現の種類をJSONで返すよう共通の指示を与えた。品詞は名詞や動詞など語の役割、固有表現は人名や地名など特定の対象を指す語を意味する。例えば「英國」を一つの語として区切り、固有表現のラベルを付ける。
新規性
著者らの貢献は、清末・民国期の中国語資料について、語分割、品詞付与、固有表現認識を同じ正解データで比較した点にある。詩と非詩、1920年より前と以後も分けて調べ、総合値だけでは見えない差を示した。
大規模言語モデルは多くの条件で従来ツールを上回った。一方、GLM-4-Longの固有表現認識は従来ツールより低く、改善が全モデル・全指標に当てはまるわけではない。
従来手法との違い
比較対象はJiebaと複数のspaCy構成で、著者らは追加学習をしない状態で各ツールを評価した。大規模言語モデルにも共通の指示を与え、語の境界、品詞、固有表現を同じ形式で出力させた。
最も良い従来構成のspacy_bertは語分割F1が82.50%、品詞正解率が78.36%。GPT-4oはそれぞれ91.97%、86.28%だったが、処理時間は32.08秒に対して796.61秒だった。精度と処理時間を一緒に見る必要がある。
実験結果
著者らの標本は計8,610字で、詩41件を含む。語分割は正解との一致を総合するF1、品詞と固有表現は正しく区切れた語についての正解率で評価し、時間と出力形式の失敗も記録した。
全体ではo3-miniの語分割F1が94.50%、GPT-4oが91.97%、spacy_bertが82.50%。ただしo3-miniの処理時間は5,295.68秒だった。詩ではGPT-4oのF1が93.09%、Jiebaが70.71%。数値はこの標本と論文の実行条件で得られた結果である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：図書館が民国期の雑誌を検索可能にする場面を想定する。入力は文字起こし済みの短い記事本文、出力は語の区切り、品詞、人名や地名などの候補を付けた索引用データとする。
まず従来ツールで全件を処理し、詩や古い年代の記事だけを大規模言語モデルでも処理する。担当者が候補を確認してから索引に反映し、表記揺れや語の区切りが研究目的に合うかを記録する。これは論文で実証された運用方法ではない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象資料から詩、論説、異なる年代を含む小標本を選び、担当者2人で語境界と固有表現の採点基準を決める。まずJiebaまたは既存のspaCy構成を基準として処理し、同じ文を候補モデルにも入力する。
語分割F1、正しく区切れた語の品詞・固有表現正解率、文章当たりの処理時間、形式エラーを並べる。特に古い年代と詩で差を確認し、修正作業の量まで含めて採用範囲を決める。
限界と課題
著者らは正解データの規模が比較的小さいこと、追加学習や少数例を示す指示を試していないことを限界に挙げる。また、中国語の語境界には唯一の正解がない場合があり、「教授」を時代ごとにどう区切るかも研究目的に左右される。
編集上の確認点は、所蔵資料のジャンルや文字起こしの誤りに結果がどこまで耐えるか、である。運用前には独自資料で再採点し、処理時間に加えてAPIへ送る文字量と出力形式の失敗も確認したい。
出典
元のタイトル・要旨を確認する（英語）
A Comparative Analysis of Word Segmentation, Part-of-Speech Tagging, and Named Entity Recognition for Historical Chinese Sources, 1900-1950
This paper compares large language models (LLMs) and traditional natural language processing (NLP) tools for performing word segmentation, part-of-speech (POS) tagging, and named entity recognition (NER) on Chinese texts from 1900 to 1950. Historical Chinese documents pose challenges for text analysis due to their logographic script, the absence of natural word boundaries, and significant linguistic changes. Using a sample dataset from the Shanghai Library Republican Journal corpus, traditional tools such as Jieba and spaCy are compared to LLMs, including GPT-4o, Claude 3.5, and the GLM series. The results show that LLMs outperform traditional methods in all metrics, albeit at considerably higher computational costs, highlighting a trade-off between accuracy and efficiency. Additionally, LLMs better handle genre-specific challenges such as poetry and temporal variations (i.e., pre-1920 versus post-1920 texts), demonstrating that their contextual learning capabilities can advance NLP approaches to historical texts by reducing the need for domain-specific training data.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29