ด้วยความสงสัย – และหลังจากได้รับคำใบ้จากคุณ – ผมได้เพิ่ม KIMI และ GLM (z.ai) เข้าไปในการจัดอันดับ ทั้งสองตัวเน้นด้านการเขียนโค้ดเป็นหลัก
ผมสนใจว่า พวกมันทำงานด้านภาษี การแพทย์ กฎหมาย และเศรษฐศาสตร์ได้ดีแค่ไหน? (ตอนนี้ Claude, ChatGPT, Gemini และ Grok ก็ถูกรวมเข้ามาในเวอร์ชันโมเดลต่างๆ และทำให้อันดับเปลี่ยนไปพอสมควร)
แต่ลองดูสองรูปแบบในผลลัพธ์โดยเฉพาะ:
→ 1. ค่าเบี่ยงเบนมาตรฐานที่เกิดขึ้นแม้จะมีคำถามที่เหมือนกันทุกประการ
→ 2. แนวโน้มการพัฒนาของโมเดลเมื่อเวลาผ่านไป – ซึ่งเริ่มเห็นได้ชัด แม้ว่าระยะเวลาการสังเกตจะยังค่อนข้างสั้น
ใครจะเป็นคนแรกที่ทำคะแนนทะลุ 99%?
