اپل و انویدیا با فناوری سرعت تولید توکن در مدلهای زبانی بزرگ را ۲.۷ برابر افزایش دادند

اپل از همکاری جدید خود با انویدیا برای بهبود استنتاج مدلهای زبانی بزرگ با استفاده از فناوری که به اختصار نامیده میشود خبر داد.

این فناوری که در نوامبر سال ۲۰۲۴ توسط اپل معرفی شد، با استفاده از مدل پیشنویس شبکه عصبی بازگشتی، جستجور تو و دقت پویای درخت، رویکردی مبتنی بر رمزگشایی احتمالی را اتخاذ میکند.

بر اساس بررسیهای اپل، روش توانسته است تا ۲.۷ برابر توکن بیشتری در ثانیه نسبت به روشهای سنتی تولید کند و با کاهش تاخیر و مصرف GPU کارایی را افزایش دهد.

این فناوری از طریق ادغام با چارچوب انویدیا بر روی پردازندههای گرافیکی این شرکت امکان استنتاج سریعتر مدلهای زبانی بزرگ را فراهم میآورد.

انویدیا برای پشتیبانی بهتر از این الگوریتم، عملگرهای جدیدی را در معرفی کرده و عملگرهای موجود را بهروزرسانی کرده است تا کارایی بهینه شود.

اپل این فناوری نه تنها سرعت را افزایش میدهد بلکه به دلیل کاهش نیاز به منابع محاسباتی، هزینهها و مصرف انرژی را نیز کاهش میدهد که برای سازمانهای عملیاتی هوش مصنوعی بزرگمقیاس بسیار مهم است.

تا کنون تمرکز بر روی سختافزار انویدیا است اما گمان میکنند مزایای در آینده ممکن است روی های دیگر مانند AMD یا نیز شود.

انور لئون از مسئولان انویدیا در این گفت این همکاری را تقویت میدهد و امکان گسترش مدلهای پیچیدهتر LLM را برای توسعهدهندگان فراهم میآورد.