تبدیل CPU نود و پنج دلاری AMD به شتاب دهنده هوش مصنوعی 16 گیگابایتی [تماشا کنید]

اشتهای سیری ناپذیر شرکت‌ها و کشورها برای هوش مصنوعی باعث کمبود شتاب دهنده‌های H100 و H100 و افزایش شدید قیمت آنها شده است. اما چه فکر می‌کنید اگر بدنید یک modder راهی پیدا کرده تا بتوان پردازنده‌های به مراتب ارزان‌تر را به شتاب دهنده هوش مصنوعی تبدیل کرد؟

اخیراً یک modder نحوه استفاده از APU های AMD به عنوان شتاب دهنده هوش مصنوعی را به اشتراک گذاشته که با نتایج جالبی همراه بوده است. هرچند قرار نیست این پردازنده‌های تقریباً 100 دلاری به خوبی شتاب دهنده‌های ده‌ها هزار دلاری انویدیا باشند، اما دست کم افراد بیشتری می‌توانند با هوش مصنوعی ماجراجویی کنند و پروژه‌های خودشان را بساز‌ند.

استفاده از AMD APU به عنوان شتاب دهنده هوش مصنوعی

در حال حاضر شرکت‌هایی چون Open AI برای مدل‌های زبانی بزرگ از تعداد بسیار بالایی شتاب دهنده H100 یا A100 انویدیا استفاده می‌کنند که به طور میانگین بین 25,000 تا 30,000 دلار قیمت دارند و انویدیا آنها را با سود 1000 دلار می‌فروشد. هم زمان شرکت‌ها و افرادی که می‌خواهند در ابعاد بسیار کوچک‌تر با هوش مصنوعی کار کنند، بازهم به کارت‌های رده بالا نیاز دارند که قیمت آنها به چند صد دلار می‌رسد. بنابراین گزینه ارزانی برای کار با هوش مصنوعی وجود ندارد.

خبر خوب اینکه کاربر chain-77 در Reddit متوجه شده پردازنده 95 دلاری Ryzen 5 4600G توان قابل ملاحظه‌ای در انجام محاسبات هوش مصنوعی دارد و می‌توان لینوکس را قانع کرد که با آن به عنوان یک شتاب دهنده گرافیکی 16 گیگابایتی رفتار کند. هرچند گرافیک داخلی این APU به مراتب ضعیف‌تر از کارت‌های گیمینگ است، اما هوش مصنوعی به شدت تشنه حافظه ویدئویی است و می‌توان از همین مزیت APU ها و دسترسی به حجم بالایی حافظه رم معمولی بهره گرفت.

در این روش می‌توان نصف 32 گیگابایت حافظه رم نصب شده بر روی سیستم را به گرافیک داخلی APU اختصاص داد که باعث می‌شود حافظه بیشتری نسبت به تراشه‌های به مرآت بزرگ‌تر داشته باشد. پاسخ‌های کاربران در Reddit نشان می‌دهد احتمالاً بتوان بر روی برخی مادربردها حافظه رم بیشتری به GPU اختصاص دارد که موجب افزایش هرچه بیشتر قدرت این APU زیر صد دلار می‌شود.

خوشبختانه با این ترفند، APU ارزان قیمت AMD از پلتفرم ROCm این کمپانی پشتیبانی می‌کند و می‌توان ابزارهایی چون Pytorch و TensorFlow را با آن اجرا کرد. برای نمونه بد نیست اشاره کنیم تولید یک تصویر 50 مرحله‌ای با وضوح 512×512 پیکسل کمتر از 2 دقیقه طول می‌کشد که نسبت به برخی کارت‌های به مراتب گران قیمت‌تر، نتیجه عالی است.

با وجود اینکه در این روش مدل‌های Fastchat ،MiniGPT 4 و Whisper کار می‌کنند، اما پردازنده 4600G  در اجرای LLaMA کم می‌آورد. LLaMA مدل زبانی بزرگ فیس‌بوک است. در صورتی که شما هم به انجام این ترفند علاقه‌مند شده‌اید، می‌توانید از ویدئو بالا کمک بگیرید.

نکته مهم دیگر درباره این روش، مصرف پایین انرژی است. APU مورد بحث در روز حدود 0.35 کیلو وات ساعت برق مصرف می‌کند که به نسبت کارت‌های قوی، بسیار کمتر است.