هوش نیوز
#یک_دقیقه_یاد_بگیریم توکن (Token) چیه؟ تا حالا دیدی قیمت مدل‌های هوش مصنوعی رو با «تعداد توکن» حساب می‌کنن؟ اصلاً توکن یعنی چی؟ 🧩 ساده بگیم؛ توکن، واحدی برای شمارش متنه. هوش مصنوعی متن رو مثل ما جمله‌به‌جمله نمی‌بینه؛ اون متن رو به تکه‌های کوچیک‌تر به اسم توکن تبدیل می‌کنه. مثلاً جمله‌ی: «سلام، حالت چطوره؟» ممکنه داخل مدل به تکه‌هایی شبیه این شکسته بشه: سلام | ، | حالت | چطور | ه؟ البته این فقط یک مثال ساده است و تعداد دقیق توکن‌ها در هر مدل می‌تونه متفاوت باشه. هرچقدر متن بیشتری بنویسی یا پاسخ طولانی‌تری بگیری، توکن بیشتری مصرف می‌شه. به همین خاطر هم هزینه استفاده از مدل‌های هوش مصنوعی بر اساس تعداد توکن محاسبه می‌شه. می‌شه گفت: توکن برای هوش مصنوعی، تقریباً همون چیزیه که کیلومتر برای مسافت یا لیتر برای بنزینه؛ یک واحد اندازه‌گیری. سؤال بعدی: اصلاً متن‌باز بودن یعنی چی؟ چرا بعضی مدل‌ها مثل Qwen و Kimi متن‌بازن، ولی ChatGPT نه؟ برای دنبال کردن آخرین اخبار و یادگیری مفاهیم هوش مصنوعی، هوش نیوز را دنبال کنید. https://ble.ir/hoshnews
#یک_دقیقه_یاد_بگیریم توکن (Token) چیه؟ تا حالا دیدی قیمت مدل‌های هوش مصنوعی رو با «تعداد توکن» حساب می‌کنن؟ اصلاً توکن یعنی چی؟ 🧩 ساده بگیم؛ توکن، واحدی برای شمارش متنه. هوش مصنوعی متن رو مثل ما جمله‌به‌جمله نمی‌بینه؛ اون متن رو به تکه‌های کوچیک‌تر به اسم توکن تبدیل می‌کنه. مثلاً جمله‌ی: «سلام، حالت چطوره؟» ممکنه داخل مدل به تکه‌هایی شبیه این شکسته بشه: سلام | ، | حالت | چطور | ه؟ البته این فقط یک مثال ساده است و تعداد دقیق توکن‌ها در هر مدل می‌تونه متفاوت باشه. هرچقدر متن بیشتری بنویسی یا پاسخ طولانی‌تری بگیری، توکن بیشتری مصرف می‌شه. به همین خاطر هم هزینه استفاده از مدل‌های هوش مصنوعی بر اساس تعداد توکن محاسبه می‌شه. می‌شه گفت: توکن برای هوش مصنوعی، تقریباً همون چیزیه که کیلومتر برای مسافت یا لیتر برای بنزینه؛ یک واحد اندازه‌گیری. سؤال بعدی: اصلاً متن‌باز بودن یعنی چی؟ چرا بعضی مدل‌ها مثل Qwen و Kimi متن‌بازن، ولی ChatGPT نه؟ برای دنبال کردن آخرین اخبار و یادگیری مفاهیم هوش مصنوعی، هوش نیوز را دنبال کنید. https://ble.ir/hoshnews #یک_دقیقه_یاد_بگیریم متن‌باز بودن (Open Source) یعنی چی؟تا حالا شنیدی می‌گن یه مدل هوش مصنوعی «متن‌بازه»؟ اصلاً این یعنی چی؟
🧩 ساده بگیم؛ وقتی یک مدل متن‌بازه، یعنی شرکت سازنده فایل‌های اصلی مدل و وزن هاش(Weights) رو منتشر کرده تا بقیه هم بتونن اون رو دانلود، اجرا و حتی برای نیاز خودشون تغییر بدن.
مثلاً مدل‌هایی مثل Llama و Gemma و Qwen متن‌بازن؛ اما مدل‌هایی مثل ChatGPT یا Claude متن‌باز نیستن و فقط می‌تونی از سرویسشون استفاده کنی. یعنی اگه بخوای یک مدل رو روی کامپیوتر شخصی یا سرور خودت اجرا کنی، معمولاً باید سراغ مدل‌های متن‌باز بری. البته متن‌باز بودن، لزوماً به معنی بهتر بودن نیست؛ مدل‌های بسته معمولاً امکانات بیشتری دارن، اما مدل‌های متن‌باز آزادی عمل بیشتری به توسعه‌دهنده‌ها می‌دن. می‌شه گفت:مدل متن‌باز مثل یک دستور پخت کامله که همه می‌تونن ببینن و تغییرش بدن؛ اما مدل بسته مثل غذاییه که فقط اجازه داری سفارش بدی، بدون اینکه بدونی چطور درست شده. سؤال بعدی: وزن‌های (Weights) مدل یعنی چی و چرا این‌قدر مهمن؟ برای دنبال کردن آخرین اخبار و یادگیری مفاهیم هوش مصنوعی، هوش نیوز را دنبال کنید. https://ble.ir/hoshnews۵