توکن، پنجره کانتکست و سهمیه استفاده؛ اعداد مبهم اشتراک‌های هوش مصنوعی به زبان ساده

صفحه معرفی هر مدل جدید هوش مصنوعی را باز کنی، با این جمله‌ها روبه‌رو می‌شوی: «پنجره کانتکست ۱ میلیون توکنی»، «۱۲۸ هزار توکن حداکثر خروجی»، «۱۰ دلار به ازای هر میلیون توکن ورودی». برای خیلی‌ها این اعداد بی‌معنی‌اند، ولی همین اعداد تعیین می‌کنند یک مدل یا پلن به درد کار تو می‌خورد یا نه. بیا یکی‌یکی ساده‌شان کنیم.

توکن چیست؟#

مدل‌های زبانی متن را کلمه‌به‌کلمه نمی‌خوانند، بلکه آن را به تکه‌های کوچکی به اسم توکن تقسیم می‌کنند. یک توکن ممکن است یک کلمه کامل، بخشی از کلمه یا حتی یک علامت نگارشی باشد.

• در انگلیسی، به‌طور میانگین هر توکن حدود سه‌چهارم یک کلمه است؛ یعنی ۱۰۰۰ توکن تقریباً ۷۵۰ کلمه.
• در فارسی ماجرا فرق دارد…

نکته مهم برای فارسی‌زبان‌ها#

بیشتر مدل‌ها روی متن انگلیسی بهینه شده‌اند، برای همین کلمات فارسی معمولاً به توکن‌های بیشتری شکسته می‌شوند. نتیجه عملی:

• همان متن به فارسی توکن بیشتری مصرف می‌کند؛
• پس در API گران‌تر تمام می‌شود؛
• و سهمیه پیام در اشتراک‌ها سریع‌تر تمام می‌شود.

نسبت دقیق به مدل بستگی دارد و مدل‌های جدیدتر معمولاً با زبان‌های غیرانگلیسی بهینه‌ترند. اگر برایت مهم است، ابزارهای شمارش توکن (Tokenizer) شرکت‌ها را با متن واقعی خودت امتحان کن.

پنجره کانتکست (Context Window) چیست؟#

پنجره کانتکست یعنی حداکثر متنی که مدل در یک گفتگو هم‌زمان می‌تواند در نظر بگیرد؛ شامل پیام‌های تو، جواب‌های مدل، فایل‌هایی که آپلود کرده‌ای و دستورالعمل‌ها. مثل حافظه کاری انسان.

مدل‌های پرچمدار امروزی مثل GPT-6 و Claude Sonnet 5.5 پنجره کانتکست حدود یک میلیون توکن دارند. یعنی تقریباً:

• چند کتاب کامل،
• یا کد یک پروژه نرم‌افزاری متوسط،
• یا صدها صفحه قرارداد و سند.

چرا مهم است؟#

• اگر با اسناد طولانی یا کدبیس بزرگ کار می‌کنی، کانتکست بزرگ حیاتی است.
• وقتی گفتگو از کانتکست بیشتر شود، مدل بخش‌های قدیمی را «فراموش» می‌کند یا خلاصه می‌کند.
• کانتکست بزرگ‌تر یعنی هر پیام توکن بیشتری مصرف می‌کند (چون کل تاریخچه دوباره خوانده می‌شود).

ترفند: برای موضوع جدید، گفتگوی جدید باز کن. هم جواب‌ها دقیق‌تر می‌شوند و هم سهمیه‌ات دیرتر تمام می‌شود.

حداکثر خروجی (Max Output) چیست؟#

حداکثر توکنی که مدل در یک پاسخ می‌تواند بنویسد. مثلاً Claude Sonnet 5.5 تا ۱۲۸ هزار توکن در هر جواب می‌نویسد؛ برای تولید یک گزارش بلند یا یک فایل کد بزرگ در یک مرحله کافی است.

قیمت «به ازای هر میلیون توکن» یعنی چه؟#

این قیمت مخصوص API (استفاده برنامه‌نویس‌ها) است و دو بخش دارد:

چرا خروجی گران‌تر است؟ چون مدل ورودی را یک‌جا پردازش می‌کند ولی خروجی را توکن‌به‌توکن تولید می‌کند. برای همین خلاصه‌سازی (ورودی زیاد، خروجی کم) ارزان‌تر از نوشتن متن بلند است.

سهمیه استفاده در اشتراک‌ها#

اشتراک‌های ماهانه مثل ChatGPT Plus یا Claude Pro معمولاً قیمت توکنی ندارند و به‌جای آن سهمیه دارند؛ مثلاً تعداد مشخصی پیام در یک بازه چندساعته. نکته‌هایی که باید بدانی:

• پیام‌های طولانی‌تر و گفتگوهای قدیمی‌تر سهمیه بیشتری مصرف می‌کنند.
• مدل‌های قوی‌تر (مثل Opus یا Astra) سهمیه را سریع‌تر تمام می‌کنند.
• فایل‌های بزرگ (PDF طولانی، کد زیاد) هم بخشی از سهمیه‌اند.

چطور از این اطلاعات استفاده کنیم؟#

1. کاربر معمولی: پنجره کانتکست بزرگ برایت مهم نیست؛ پلن پایه کافی است.
2. کسی که با اسناد طولانی کار می‌کند: مدلی با کانتکست بزرگ انتخاب کن و برای هر سند گفتگوی جدا بساز.
3. برنامه‌نویس API: برای کارهای ساده از مدل ارزان (مثل Luna یا Haiku) استفاده کن و مدل گران را برای کار سخت نگه دار. مقاله GPT-6 Astra، Sol و Luna را ببین.

جمع‌بندی#

توکن واحد شمارش متن است، کانتکست حافظه کاری مدل و سهمیه سقف استفاده‌ات در اشتراک. با فهمیدن این سه مفهوم، هم پلن درست‌تری انتخاب می‌کنی و هم از اشتراکی که داری بیشتر بهره می‌بری. برای مقایسه اشتراک‌ها بخش اشتراک هوش مصنوعی را ببین.

بیشتر بخوانید#

• قیمت‌گذاری دوپله‌ای Haiku 5.5 و مرز ۱۰۰ هزار توکن
• سهمیه ۵ ساعته و هفتگی Claude
• سهمیه پلن‌های ChatGPT Pro

منابع#

• Anthropic: Claude Sonnet 5.5 (context and output limits)
• Developers Digest: GPT-6 pricing and context