مهندسی هوش مصنوعی
مهندسی هوش مصنوعی یعنی ساختن نرمافزار پیرامون مدلهای یادگیری ماشین: بازیابی اطلاعات درست، فهمیدن نحوهی کار مدلها، و اجرای آنها درون محصولات واقعی.
راهنمای موضوعی از پارسا علیزاده: یک مقاله برای شروع، مقالههای عمیقتر، و پروژههایی که این موضوع در کار واقعی در آنها مطرح شده است.
از اینجا شروع کنید
عمیقتر شوید
ترنسفورمر از دل مقالهی اصلی: توضیح مکانیزم توجه برای توسعهدهندگان
توجه ضرب نقطهای مقیاسشده، توجه چندسَر و کدگذاری موقعیتی چگونه کار میکنند؛ با فرمولها و تنظیماتی که مستقیماً از مقالهی «Attention Is All You Need» گرفته شدهاند.
هوش مصنوعی۳ دقیقه مطالعه
مدلهای زبانی متن را چطور میخوانند: توکن، BPE و اینکه چرا فارسی گرانتر تمام میشود
توکن چیست، BPE چطور واژگان میسازد، چرا فارسی و ترکی توکن بیشتری از انگلیسی میگیرند، و چطور بهجای حدس زدن توکنها را بشماریم.
هوش مصنوعی۴ دقیقه مطالعه
جستوجوی برداری چگونه همسایهها را سریع پیدا میکند: تعبیهها، شباهت و HNSW
چرا جستوجوی دقیق نزدیکترین همسایه مقیاسپذیر نیست، جستوجوی تقریبی چه چیزی را فدا میکند، و گراف HNSW از مقالهی Malkov و Yashunin چگونه بردارهای نزدیک را سریع پیدا میکند.
هوش مصنوعی۴ دقیقه مطالعه
چگونه یک سامانهی RAG را ارزیابی کنیم: معیارهای بازیابی، وفاداری و داوران LLM
بازیابی و تولید را جداگانه بسنجید: recall@k، MRR و nDCG برای بازیاب و وفاداری برای پاسخ؛ و آنچه پژوهشها دربارهی استفاده از مدلهای زبانی بهعنوان داور میگویند.
هوش مصنوعی۶ دقیقه مطالعه
کوانتیزهسازی مدلهای زبانی بزرگ: وزنهای ۸ بیتی و ۴ بیتی چگونه کار میکنند
چرا یک مدل ۷ میلیارد پارامتری در حالت ۱۶ بیتی به ۱۴ گیگابایت حافظه نیاز دارد، کوانتیزهسازی چطور آن را کوچک میکند، چرا دادههای پرت کار را دشوار میکنند و هر یک از روشهای LLM.int8()، GPTQ، AWQ و QLoRA چه چیزی را تغییر دادند.
هوش مصنوعی۶ دقیقه مطالعه