前回の記事で紹介した「日本語で聞ければ全部同じじゃない？」という回答には、実はもう2つ理由があります。①生成AIの技術発展の速度が速すぎること、②各サービスの中身がブラックボックスであることです。①により、今この瞬間にどのサービスが優れているかを語っても、その優劣は数ヶ月後には入れ替わっているかもしれません。②により、各サービスの内部構造や学習データの全貌を外部から直接検証することは困難で、語られやすいのは「使ってみた感触」という主観的な体験です。ただし、それはN=1（自分ひとり）の評価であり、ほかの利用者や用途にも一般化できるとは限りません。

一方で、内部が見えなくても、出力された回答そのものは測定できます。ベンチマークで解かせる、匿名で見比べて投票させる、実際に処理された量を数える——いずれも、中身を開けずに外から測る方法です。ただしその結果は、評価課題・利用者層・集計方法によって変わります。だからこそ本記事では、「今の1位はどのモデルか」を書きません（①のとおり、書いた瞬間から古び始めるためです）。その代わり、知りたくなったときに自分で確かめられる場所——特定の生成AIベンダーに依存しない外部の3つのデータ源、Artificial Analysis・LMArena・OpenRouter——について、何をどう測っているのか、どこを見ればよいのか、読むときの注意点を整理します。

結論 — 3つのサイトは「別のもの」を測っている

Artificial AnalysisLMArenaOpenRouter
何を測るかベンチマークによる総合性能・速度・価格利用者の匿名投票（人間の好み）OpenRouter経由で処理されたトークン量
方法複数ベンチマークの複合指標2モデルの回答を見比べて投票自社API経由の利用量を週次集計
どこを見るかModelsページの Intelligence IndexLeaderboardのスコアと信頼区間Rankingsの週次シェア
主な注意点指標の版が変わると比較不能順位操作への学術的批判あり品質でも利用者数でもない

3者の答えが一致しないのは、どれかが間違っているからではなく、測っているものが違うからです。実際、執筆時点の2026年7月でも、ベンチマークや投票の上位と、実利用量の上位とでは顔ぶれが大きく異なりました。どれが「今の一番」かはここには書きません——確かめ方さえ分かれば、いつでも最新の答えを自分で取りに行けるからです。使い分けは次のとおりです。

  • 複数ベンチマーク上の総合性能を知りたい → Artificial Analysis。ただしスコアの版（v4.1など）と取得日を必ず添える
  • 人に好まれやすい回答はどれかを知りたい → LMArena。ただし上位は順位幅（Rank Spread）が大きく重なっており、細かな順位差をそのまま性能差と読まない
  • 実際に多く使われているモデルを知りたい → OpenRouter。ただし品質・利用者数・導入企業数のいずれとも一致しない、トークン処理量の指標と割り切る

以下、1サイトずつ「仕組み」と「見方」を確認していきます。

Artificial Analysis — ベンチマークで「総合性能・速度・価格」を測る

Artificial Analysis は、AIモデルとAPIプロバイダを独立の立場で分析する民間サイトです。特徴は、性能だけでなく速度と価格を同じ土俵に並べることにあります。公式のメソドロジーページによれば、測定対象は総合性能（後述の複合指標）、最初のトークンが返るまでの時間（Time to First Token）、出力速度（トークン毎秒）、価格（入出力トークン単価）などで、カタログ値ではなく実際にAPIを叩いた実測値を用います。

性能の中核指標は、複数のベンチマーク（コーディング・科学・推論など9種類）を組み合わせた複合スコア Artificial Analysis Intelligence Index です。

見方 — Modelsページを開くと、Intelligence Index・出力速度・レイテンシ・価格・コンテキスト長がモデル横断で一覧でき、主要な指標は無料で閲覧できます（データの出力・API・カスタム分析は有料プランの領域です）。「今、総合性能・速度・価格のバランスが良いモデルはどれか」を知りたいときは、まずここを見るのが早道です。

読むときの注意点は2つあります。第一に、Intelligence Index には版があり（執筆時点は v4.1）、版が上がるとベンチマークの構成が入れ替わるため、版の異なるスコアどうしは比較できません。スコアを引用するときは版と取得日をセットで添える必要があります。第二に、モデル名の括弧書きです。ランキングには「(with fallback)」「(max)」のように、単一の市販モデルではなく特定の設定や構成での測定値が並ぶことがあるため、自分が使うモデル・設定と同じものを見ているかの確認が要ります。

LMArena — 人間の投票で「どちらの回答が好きか」を測る

LMArena（旧称 Chatbot Arena。現在の正規ドメインは arena.ai）は、カリフォルニア大学バークレー校の研究者らが立ち上げた、投票型の評価プラットフォームです。仕組みは単純で、利用者がプロンプトを投げると匿名の2つのモデルが回答し、利用者は良いと思った方に投票します。モデル名は投票後まで伏せられるため、ブランドの先入観が入りにくい設計です。集計には Bradley-Terry モデル（従来「Elo」と呼ばれてきた手法の実体）が使われ、スコアには信頼区間が付きます。

見方 — テキスト部門リーダーボードで、各モデルのスコアとともに**信頼区間（±の幅）と、順位の不確実性を示す「Rank Spread」**が確認できます。ここが重要で、上位モデルの順位幅は大きく重なっており、細かな順位を明確な性能差として読むべきではありません。「1位のモデル」を探すのではなく、「順位幅が重なる上位グループ」を読み取るのが正確な使い方です。テキスト以外にも、画像・動画・Web開発など部門別のリーダーボードが用意されています。

長所は、静的なベンチマークと違い、実際の利用者が実際の質問で評価することです。人間の好みに関する世界最大級の組織的データといえます。

学術的な批判 —「The Leaderboard Illusion」

一方で、この仕組みには学術的な批判があります。Cohere・Allen Institute for AI などの研究者13名による2025年4月の論文「The Leaderboard Illusion」は、リーダーボードの公平性を歪める構造的な問題を指摘しました。

Yet, in this work we identify systematic issues that have resulted in a distorted playing field. We find that undisclosed private testing practices benefit a handful of providers who are able to test multiple variants before public release and retract scores if desired.

（しかし本研究において、競争条件を歪める構造的な問題を特定した。公表されていない非公開テストの慣行が一部のプロバイダを利しており、彼らは公開前に複数のバリアントをテストし、望めばスコアを取り下げることができる）

論文は具体的に、Meta が Llama-4 公開前に27種の非公開バリアントをテストしていたこと、クローズドモデルほど対戦回数を多く割り当てられる傾向があること、その結果 Google と OpenAI がアリーナ全データの推定約19〜20%ずつを得た一方、オープンウェイト83モデルの合計は推定29.7%にとどまることを挙げています。

これに対し LMArena は公式ブログで反論し、オープンモデルの対戦比率は公式集計で40.9%であること、事前テストによるスコア上昇は実測では「50回のテストと3,000票で+11 Elo程度」にとどまり論文の試算はシミュレーションに基づくものであることを指摘しました。同時に、指摘の一部は受け入れ、事前テスト方針の明示などの改善にも言及しています。投票型評価は「操作の余地」と隣り合わせであり、順位は参考値として幅をもって読む——これが論文と反論の両方から引き出せる実務的な教訓です。

OpenRouter — 「実際にどれだけ処理されたか」を測る

OpenRouter は評価サイトではなく、多数のAIモデルのAPIをひとつの窓口に束ねる中継サービス（米OpenRouter, Inc）です。その立場ゆえに、同サービス経由で実際に処理されたモデル別のトークン量という、ベンチマークとも投票とも異なるデータを持っており、ランキングページで週次の利用量シェアを公開しています。

見方 — Rankingsページで、モデル別・提供元別の週次トークンシェアが確認できます。コーディング・エージェント・推論といった用途別の切り替えもあり、「この用途で実際に多くのトークンが流れているモデル」が分かります（本番採用だけでなく、個人利用・実験・無料モデルの大量利用も含まれます）。ベンチマークの上位常連と、ここでの上位の顔ぶれがしばしば大きく違うこと自体が、このデータの面白さです。

読むときの注意点 — これは品質・利用者数・導入企業数・本番採用数のいずれとも一致しない、トークン処理量の指標です。無料提供や価格の安さ、大量の自動処理、一部の大口利用者の影響を強く受けるため、「多く処理されている」は「性能が高い」を意味しません。また、集計対象は OpenRouter 経由の利用に限られ、OpenAI や Anthropic のAPIを直接契約している大口利用は含まれません。

このほかの独立した情報源

3サイト以外にも、実務寄りの評価としては、実在するGitHubの課題を解けるかを測る SWE-bench（プリンストン大発）、多数のシナリオを横断評価するスタンフォード大の HELM、AIの計算資源や能力の推移を追跡する独立系の研究機関 Epoch AI などがあり、いずれもベンダーから独立した情報源として引用に耐えます。

まとめ

  • 「今いちばん良いモデル」は変動が速すぎて、記事に書いた瞬間から古び始める。必要なのは答えの暗記ではなく、確かめられる場所を知っておくこと
  • ベンダーから独立したデータ源の代表格は Artificial Analysis（ベンチマーク）・LMArena（人間の投票）・OpenRouter（トークン処理量）の3つ。測っているものが違うため、答えも一致しない
  • Artificial Analysis は Modelsページで総合性能・速度・価格を無料で一望できる。ただし指標の版（v4.1など）が違うスコアは比較できず、モデル名の括弧書き（構成・設定）にも注意
  • LMArena はスコアだけでなく信頼区間と Rank Spread を見る。上位は順位幅が大きく重なっており、細かな順位差をそのまま性能差と読まない。非公開テストをめぐる学術的批判（The Leaderboard Illusion）と運営の反論の両方を踏まえて幅をもって読む
  • OpenRouter の Rankings は OpenRouter 経由のトークン処理量であり、品質や利用者数の指標ではない。その割り切りの上で、用途別に「実際に多く流れているモデル」を眺められる
  • いずれの数値も引用するときは、サイト名・指標の版・取得日をセットで添える

参考