بنچمارک‌های هوش مصنوعی را چطور بخوانیم؟ راهنمای Terminal-Bench، GDPval و شاخص Artificial Analysis

هر بار که یک مدل هوش مصنوعی جدید معرفی می‌شود، یک جدول پر از عدد هم همراهش می‌آید: Claude Sonnet 5.5 با ۷۰٫۶٪ در Terminal-Bench 4.0، Muse Wonder Full با امتیاز ۵۶ در Intelligence Index، HydraFusion با ۶۷٪ کاهش هزینه در TerminalBench 2.1. این اعداد بنچمارک‌های هوش مصنوعی واقعاً چه می‌گویند؟ و چطور فریبشان را نخوریم؟

بنچمارک چیست؟#

بنچمارک یک مجموعه آزمون استاندارد است که روی همه مدل‌ها اجرا می‌شود تا مقایسه ممکن شود. مشکل اینجاست که هر بنچمارک فقط یک مهارت مشخص را می‌سنجد.

بنچمارک‌های هوش مصنوعی مهم در ۲۰۲۶#

۶ دام در خواندن بنچمارک‌ها#

۱. «اعداد خود سازنده»#

بیشتر اعداد در اطلاعیه‌ها را خود شرکت سازنده گزارش می‌کند. اعداد مؤسسه‌های مستقل مثل Artificial Analysis قابل‌اعتمادترند.

۲. تنظیمات متفاوت#

یک مدل با «حداکثر استدلال» یا «چند تلاش» عدد بالاتری می‌گیرد. مثلاً Anthropic امتیاز Sonnet 5.5 در FrontierCode را با تنظیم «Max effort» گزارش کرده. همیشه ببین با چه تنظیمی.

۳. نسخه بنچمارک#

Terminal-Bench 2.1 با Terminal-Bench 4.0 یکی نیست. اعداد نسخه‌های مختلف قابل مقایسه نیستند.

۴. آلودگی داده (Contamination)#

اگر سؤال‌های یک بنچمارک در داده آموزشی مدل بوده باشد، مدل جواب را «حفظ» کرده، نه حل. بنچمارک‌های قدیمی‌تر بیشتر در معرض این خطرند.

۵. هزینه و سرعت نادیده گرفته می‌شود#

مدلی که ۲٪ بهتر است ولی ۵ برابر گران‌تر، شاید برای تو انتخاب بدتری باشد. HydraFusion دقیقاً روی همین تعادل ساخته شده؛ مقاله HydraFusion را ببین.

۶. کار تو در هیچ بنچمارکی نیست#

بنچمارک‌ها میانگین‌اند. بهترین آزمون، امتحان مدل روی کار واقعی خودت است.

یک روش عملی برای انتخاب مدل#

1. بنچمارک مرتبط با کارت را پیدا کن (کدنویسی؟ نوشتن؟ تحلیل؟).
2. به اعداد مستقل اولویت بده.
3. قیمت و سرعت را کنار کیفیت بگذار.
4. ۵ تا ۱۰ نمونه از کار واقعی‌ات را روی دو سه مدل نامزد اجرا کن و خروجی‌ها را مقایسه کن.
5. بعد از چند هفته دوباره ارزیابی کن؛ مدل‌ها مدام به‌روز می‌شوند.

مثال: خواندن یک جدول واقعی#

وقتی می‌خوانی «Sonnet 5.5 در GDPval-AA امتیاز ۱۸۴۴ گرفته و Opus 5.5 امتیاز ۱۸۴۶»، نتیجه عملی این است که در کارهای دانشی تقریباً برابرند و Sonnet ارزان‌تر و سریع‌تر است. ولی همین دو مدل در کارهای طولانی ایجنتی ممکن است فاصله بیشتری داشته باشند. مقاله Opus 5.5 یا Sonnet 5.5 همین را بررسی کرده است.

از بنچمارک تا انتخاب اشتراک#

برای بیشتر کاربران، سؤال واقعی «کدام مدل بهتر است» نیست؛ «کدام اشتراک را بخرم» است. یک راه ساده برای ترجمه بنچمارک‌های هوش مصنوعی به تصمیم خرید:

• کارت بیشتر کدنویسی است؟ به Terminal-Bench و SWE-bench نگاه کن؛ بعد بین Claude Pro، Cursor Pro و ChatGPT Plus دو هفته آزمایشی انتخاب کن.
• کارت نوشتن، گزارش و تحلیل است؟ GDPval نزدیک‌ترین بنچمارک به کار توست.
• بیشتر جست‌وجو و تحقیق می‌کنی؟ بنچمارک‌ها کمتر کمکت می‌کنند؛ ابزاری مثل Perplexity که منبع می‌دهد، معمولاً مناسب‌تر است.

جمع‌بندی#

بنچمارک‌ها نقشه‌اند، نه قلمرو. از آن‌ها برای کوتاه کردن فهرست نامزدها استفاده کن، ولی تصمیم نهایی را با آزمون روی کار خودت، قیمت و سرعت بگیر.

بیشتر بخوانید#

• حمله تقطیر و نقش آن در رقابت مدل‌ها

منابع#

• Anthropic: Introducing Claude Sonnet 5.5
• Artificial Analysis via LLM Stats: Muse Wonder
• InfoQ: GitHub HydraFusion and TerminalBench results