رفتن به محتوا
پارسا علیزاده
منو

مهندسی هوش مصنوعی

مهندسی هوش مصنوعی یعنی ساختن نرم‌افزار پیرامون مدل‌های یادگیری ماشین: بازیابی اطلاعات درست، فهمیدن نحوه‌ی کار مدل‌ها، و اجرای آن‌ها درون محصولات واقعی.

راهنمای موضوعی از : یک مقاله برای شروع، مقاله‌های عمیق‌تر، و پروژه‌هایی که این موضوع در کار واقعی در آن‌ها مطرح شده است.

از اینجا شروع کنید

عمیق‌تر شوید

ترنسفورمر از دل مقاله‌ی اصلی: توضیح مکانیزم توجه برای توسعه‌دهندگان

توجه ضرب نقطه‌ای مقیاس‌شده، توجه چندسَر و کدگذاری موقعیتی چگونه کار می‌کنند؛ با فرمول‌ها و تنظیماتی که مستقیماً از مقاله‌ی «Attention Is All You Need» گرفته شده‌اند.

هوش مصنوعی۳ دقیقه مطالعه

مدل‌های زبانی متن را چطور می‌خوانند: توکن، BPE و اینکه چرا فارسی گران‌تر تمام می‌شود

توکن چیست، BPE چطور واژگان می‌سازد، چرا فارسی و ترکی توکن بیشتری از انگلیسی می‌گیرند، و چطور به‌جای حدس زدن توکن‌ها را بشماریم.

هوش مصنوعی۴ دقیقه مطالعه

جست‌وجوی برداری چگونه همسایه‌ها را سریع پیدا می‌کند: تعبیه‌ها، شباهت و HNSW

چرا جست‌وجوی دقیق نزدیک‌ترین همسایه مقیاس‌پذیر نیست، جست‌وجوی تقریبی چه چیزی را فدا می‌کند، و گراف HNSW از مقاله‌ی Malkov و Yashunin چگونه بردارهای نزدیک را سریع پیدا می‌کند.

هوش مصنوعی۴ دقیقه مطالعه

چگونه یک سامانه‌ی RAG را ارزیابی کنیم: معیارهای بازیابی، وفاداری و داوران LLM

بازیابی و تولید را جداگانه بسنجید: recall@k، MRR و nDCG برای بازیاب و وفاداری برای پاسخ؛ و آنچه پژوهش‌ها درباره‌ی استفاده از مدل‌های زبانی به‌عنوان داور می‌گویند.

هوش مصنوعی۶ دقیقه مطالعه

کوانتیزه‌سازی مدل‌های زبانی بزرگ: وزن‌های ۸ بیتی و ۴ بیتی چگونه کار می‌کنند

چرا یک مدل ۷ میلیارد پارامتری در حالت ۱۶ بیتی به ۱۴ گیگابایت حافظه نیاز دارد، کوانتیزه‌سازی چطور آن را کوچک می‌کند، چرا داده‌های پرت کار را دشوار می‌کنند و هر یک از روش‌های LLM.int8()، GPTQ، AWQ و QLoRA چه چیزی را تغییر دادند.

هوش مصنوعی۶ دقیقه مطالعه