興味本位で、そして皆さんからのヒントもあって、KIMI と GLM(z.ai)をランキングに追加しました。どちらも実際にはコーディングに特化しています。
私が興味を持ったのは、税金、医療、法律、経済の分野で、これらのモデルがどのようなパフォーマンスを発揮するかです。(Claude、ChatGPT、Gemini、Grok も、さまざまなモデルバージョンで含まれるようになり、ランキングをかなり変動させています。)
しかし、特に結果に見られる 2 つのパターンに注目してください。
→ 1. まったく同じ質問にもかかわらず生じる標準偏差。
→ 2. 時間の経過に伴うモデルの進化傾向 – 観測期間がまだ比較的短いにもかかわらず、すでに認識できます。
誰が最初に 99% を突破するのでしょうか?





