BookTranslator
BookTranslator

2026年、翻訳に最適なLLMはどれか:最新ベンチマークが示すもの

翻訳に万能なLLMは存在しません。WMT25、WMT24++、TOWER+が示す内容を確認し、言語ペアとコンテンツに合わせた再現可能なテストを実施しましょう。

BookTranslator

BookTranslator Team

19 min read

結論から言うと:万能な最適LLMは存在しない

翻訳に最適なLLMは、言語ペア、ドメイン、文書の長さ、用語ルール、そしてどのような誤りを許容できないかによって異なります。最近の権威あるベンチマークは、LLMが強力な翻訳システムであることを示していますが、永続的な世界一のモデルを支持するものではありません。

2026年時点で最も妥当な結論は次のとおりです:

  1. 現在の汎用モデルと翻訳特化モデルを候補としてリストアップする。
  2. 必要な言語方向とコンテンツタイプを正確にテストする。
  3. 流暢さを評価する前に、省略、創作、数値の変更、用語の失敗を排除する。
  4. 重要な作業には、資格を持つ人間による比較を使用する。
  5. チャットボックスだけでなく、実際のファイルワークフロー内でモデルをテストする。

この記事ではBookTranslatorのモデルリーダーボードを提示しません。万能な勝者を指名することを正当化する、公開された再現可能な内部コーパスを持っていないからです。代わりに、最新の公開ベンチマークが何を確立し、何を確立していないか、そしてプロジェクト固有の評価をどのように実行するかを説明します。

最新の翻訳ベンチマークが実際に示すもの

ベンチマーク範囲最も有用な強い知見重要な限界
WMT25 General Machine Translation30言語ペア、60システム、複数ドメインにわたる15ペアの専門家による人間評価より難しく文書レベルのテストセットが、簡単な文テストでは隠れていた違いを明らかにする結果はペア、ドメイン、システムによって異なり、すべての条件で勝つ単一のモデルはない
WMT24++55の言語と方言、文学、ニュース、ソーシャル、音声のドメイン評価されたLLMは、選択された自動指標において、テストされた全55言語でMTプロバイダーを上回った著者らは、自動スコアには人間による確認が必要だと明示的に警告している
TOWER+WMT24++翻訳に加え、汎用評価と指示追従評価翻訳に特化した事後学習は、指示追従性を高めつつ、強力なプロプライエタリシステムに匹敵し得るこの論文が評価しているのは特定のモデルバージョンと対応言語セットであり、現在のすべてのAPIモデルではない
WMT24 Metrics Shared Task英語–スペイン語、日本語–中国語、英語–ドイツ語を対象とした人手MQMデータと指標評価微調整されたニューラル指標は、LLM翻訳の評価に依然として有用である自動指標は評価ツールであり、対象言語によるレビューの代替にはならない

ベンチマークの潮流は「汎用LLMが翻訳システムを置き換えた」ということではない。境界がますます有用でなくなってきているのだ。汎用LLMは強力な翻訳者になり得るし、特化モデルは翻訳品質を維持しつつ指示追従性を高められる。そして、勝者となるシステムは言語方向とテスト設計によって今も変わる。

WMT25:難しいテストと人手評価が重要

WMT25 General Machine Translation shared taskは、30の言語ペアにわたる60のシステムを評価した。そのうち半分のペアについて、プロのアノテーターが4つまたは5つのドメインにわたる出力をError Span Annotationで評価し、2つのペアにはMQMが用いられた。このタスクはまた、複数の段落を含む文書レベルの入力へとさらに踏み込んだ。

この設計が重要なのは、簡単な文単位のテストセットでは次のような問題が隠れてしまうからだ:

  • 段落をまたいで初めて現れる代名詞や参照の誤り;
  • 用語のドリフト;
  • 文書レベルでの脱落;
  • ドメイン固有の失敗;
  • 流暢な作り話;そして
  • 高リソース言語方向と低リソース言語方向の差。

実践的な教訓は、WMTのランキングをツール選定にそのまま当てはめることではない。評価の規律をそのまま当てはめることだ。つまり、難しい原文、複数のドメイン、文書コンテキスト、そして人手による誤りアノテーションである。

WMT24++:広い言語カバレッジ、ただし大きな注意点あり

WMT24++は、WMT24データセットを55の言語と方言に拡張し、新たな人手執筆の参照訳とポストエディット参照訳を含めている。文学、ニュース、ソーシャル、スピーチのコンテンツをカバーする。

この論文は、自動指標の下で、評価対象となったMTシステムの中でLLMが55言語すべてにおいて最高性能だったと報告している。これは、現代のLLM翻訳が英語中心の少数の言語ペアに限定されないという重要な証拠である。

しかし著者らはまた、人手評価なしにこの結果を強い品質結論に用いるべきではないとも述べている。自動指標は人間の判断と異なる出力を高く評価することがあり、平均スコアはある言語方向における重大な誤りを覆い隠し得る。

WMT24++は、LLMを幅広くテストする根拠として使うべきであり、特定のLLMがすべての言語で最良であると宣言するために使うべきではない。

TOWER+:翻訳品質と指示追従性は別の軸である

2026年のTOWER+論文は、翻訳特化型システムと汎用システムを、WMT24++、一般的な多言語ベンチマーク、そして用語や書式ルールなどの指示と翻訳を組み合わせた新しいIF-MTベンチマークで評価している。

その中心的な知見は実際のプロジェクトに役立つ。生の翻訳品質を最大化すると、一般的な指示追従能力が損なわれる可能性がある。翻訳システムは良い文を生成しても、用語集に従えなかったり、要求されたパターンを保持できなかったり、出力制約を守れなかったりすることがある。

TOWER+は次のように報告している:

  • その72BモデルはTOWER-V2の翻訳性能に匹敵しつつ、一般的な能力を大幅に向上させた。
  • その9Bモデルは24の言語ペアで競争力を維持した。
  • 72Bモデルは、論文に含まれるプロプライエタリなGPT-4oおよびClaude Sonnetのバージョンと競争力があった。そして
  • 評価が高リソース言語からより広範な言語セットに拡大されても、性能は依然として変化した。

これはTOWER+がすべてのユーザーにとっての答えになるというわけではない。しかし、「翻訳品質」と「制作上の指示に確実に従えるか」の両方を測定しなければならないことを証明している。

公開ベンチマークがあなたのモデルを選べない理由

ベンチマークの結果は、次のものに適用される:

  • 正確なモデルバージョン;
  • プロンプトとデコーディングの設定;
  • 言語の方向;
  • ソースのドメイン;
  • セグメントまたは文書の境界;
  • 参照翻訳;
  • 指標と人間によるプロトコル;そして
  • テスト日。

あなたのプロジェクトはあらゆる次元で異なりうる。英語からドイツ語へのニュース翻訳で首位のモデルが、日本語から英語へのフィクション、アラビア語からフランス語への学術散文、またはタイミング制約のある字幕翻訳で首位になるとは限らない。

モデルAPIも変化する。GPT、Claude、Gemini、Qwen、DeepSeekといったベンダー名は、安定した実験単位ではない。正確なモデル識別子と日付を記録せよ。

あなたの翻訳にとって「最高」が意味すべきこと

要件合格する挙動重大な失敗
意味主張、不確実性、関係性、否定を保持する流暢な出力が逆の意味を述べる
完全性必要なすべてのセグメントを翻訳する段落、警告、注記、結びが消える
用語名称と用語を一貫して適用する1つの概念に複数の訳語が当てられる
指示への従順さ用語集、トーン、書式、出力ルールに従う解説を加えたり、保護されたトークンを無視したりする
文脈段落をまたいで参照を解決する代名詞、実体、関係性がずれる
分野への適合適切な技術用語やジャンル言語を使用する一般的な文章が専門的な意味を置き換える
運用上の信頼性再現可能でクリーンな出力を生成する切り捨て、拒否、再試行によりワークフローが不安定になる
レビューコストエラーが限定的で、確認が容易である安価な生成は高くつく修正を生む

文学作品の場合、声、リズム、人物描写、曖昧さ、文化的判断が加わります。2025年の研究How Good Are LLMs for Literary Translation, Really?では、出版された人間の翻訳が評価でより優れた成績を示し、最近のLLM出力はより直訳的で多様性に欠ける傾向があることが分かりました。

代表的なテストコーパスを構築する

自身が所有するか、処理が許可されている文章を使用してください。以下を含めます:

サンプル推奨サイズ何を検証するか
通常の散文500~1,000語基本的な意味と流暢さ
対話400~700語声、語域、中断、サブテキスト
用語が多いテキスト500~1,000語用語集の遵守と繰り返し
構造化コンテンツ300~600語見出し、リスト、表、引用、またはマーカー
難解な箇所300~500語慣用句、曖昧さ、言葉遊び、または文化的参照
長いセクションまたは章2,000~5,000語完全性と段落間の一貫性

モデルを実行する前に、原言語、目標言語、分野、必須用語、保護すべき固有名詞と数値、既知の落とし穴、レビュー担当者の資格を記録します。

プロンプトと設定を固定する

すべての候補に対して、同じ原文、指示、用語集、分割方法、再試行ポリシーを使用します。

Translate the source into [target language] for [audience].
Preserve meaning, uncertainty, names, numbers, citations, paragraph boundaries,
and formatting markers. Apply the glossary exactly.
Do not summarize, explain, censor, or add translator notes.
Output only the translation.

記録する項目:

  • プロバイダーと正確なモデル識別子;
  • テスト日とAPIまたは製品のインターフェース;
  • システムプロンプトとユーザープロンプト;
  • 公開されているサンプリングまたは推論設定;
  • 用語集とスタイルルール;
  • 再試行、失敗、切り捨て;
  • 未編集の生の出力; および
  • 入力、出力、レビューのコスト。

ある候補が繰り返し手動での救済を必要とする場合、それを比較から除外するのではなく、本番環境での失敗として数えます。

2回のパスでレビューする

パス1: 重大な失敗を却下する

以下の場合は却下または大幅に減点します:

  • 内容の欠落または捏造;
  • 意味の反転または否定の喪失;
  • 名前、数値、単位、数式、引用の変更;
  • 未翻訳の断片;
  • 重複または切り捨てられた箇所;
  • 翻訳内のアシスタントによるコメント; および
  • 用語集または出力ルールの無視。

第2段階:品質を比較する

残りの出力を匿名化し、資格のあるレビュアーに並べて比較してもらいます。正確さ、流暢さ、用語、完全性、声、構造などのエラーカテゴリを使用します。

WMT24 Metrics Shared Taskは、評価の一部として強力なニューラルメトリクスを使用することを支持していますが、自動スコアリングだけを唯一の判断基準にすべきではありません。コンテンツが文学的、低リソース、高度に技術的、または安全性が重要な場合、特に弱い証拠となります。

モデルだけでなく、実際のワークフローをテストする

モデルが段落をうまく翻訳できても、それが正しい本番環境の選択とは限りません。

文書全体については、以下を確認してください:

  • 最初と最後のセクションが存在する。
  • 見出しと段落数が一致する。
  • 名前と用語集の用語が安定している。
  • 出力がトークン境界で終わっていない。
  • 表、注釈、引用が接続されたままである。
  • ダウンロードしたファイルが開き、ナビゲートできる。そして
  • レビューと修正の合計時間が許容範囲内である。

EPUB、PDF、DOCXの場合、専用のファイルパイプラインが解析、分割、再構築、ダウンロードを処理します。BookTranslatorは、サポートされている書籍や文書形式に対してそのワークフローを提供します。モデルは一つの構成要素にすぎません。強力なモデルでも、間違った順序で読み取られたPDFや、壊れたナビゲーションで再構築されたEPUBを修復することはできません。

実用的な選択ルール

候補は、すべてのゲートを満たす場合にのみ選択してください:

  1. 重大な意味や完全性の失敗がない。
  2. 資格のあるレビュアーからの強い並列比較の優先。
  3. 長いサンプルでの安定した用語。
  4. 信頼できる指示の遵守。
  5. 脆弱な手動救済なしのクリーンな出力。
  6. 許容可能な総レビューコスト。
  7. 実際の文書または字幕パイプラインとの互換性。

2つのモデルが近い場合、重大なエラーが少なく、レビュアー間のばらつきが小さい方を優先してください。1つの自動スコアの小さな差に過剰適合しないでください。

書籍全体の判断には、この方法をAI対人間の書籍翻訳フレームワークと組み合わせてください。モデル単体ではなくファイル全体のワークフローを比較するには、最高の書籍翻訳ツールガイドをご利用ください。

関連記事