رفتن به محتوا
پارسا علیزاده
منو
بلاگهوش مصنوعی

ترنسفورمر از دل مقاله‌ی اصلی: توضیح مکانیزم توجه برای توسعه‌دهندگان

توجه ضرب نقطه‌ای مقیاس‌شده، توجه چندسَر و کدگذاری موقعیتی چگونه کار می‌کنند؛ با فرمول‌ها و تنظیماتی که مستقیماً از مقاله‌ی «Attention Is All You Need» گرفته شده‌اند.

۳ دقیقه مطالعه

نمودار توجه ضرب نقطه‌ای مقیاس‌شده؛ کوئری‌ها و کلیدها در هم ضرب می‌شوند، بر جذر d_k تقسیم می‌شوند، از softmax می‌گذرند و در مقدارها ضرب می‌شوند
در این صفحه

بیشتر مدل‌های زبانی بزرگی که امروز به کار می‌روند بر یک معماری استوارند: ترنسفورمر (Transformer). این معماری در مقاله‌ای در سال ۲۰۱۷ معرفی شد که کوتاه و دقیق است و هنوز هم بهترین جا برای فهمیدن طرز کار آن به شمار می‌رود. این نوشته سازوکار محوری آن، یعنی توجه (attention)، را با فرمول‌ها و اعداد خود مقاله مرور می‌کند.

مقاله#

مقاله‌ی «Attention Is All You Need» را Ashish Vaswani، Noam Shazeer، Niki Parmar، Jakob Uszkoreit، Llion Jones، Aidan N. Gomez، Łukasz Kaiser و Illia Polosukhin نوشته‌اند و نخستین بار در ۱۲ ژوئن ۲۰۱۷ منتشر شد [1].

ادعای محوری آن در چکیده آمده است: ترنسفورمر تنها بر سازوکارهای توجه بنا شده و بازگشت (recurrence) و کانولوشن (convolution) را به‌کلی کنار گذاشته است [1]. پیش از آن، مدل‌های پیشروی پردازش دنباله متن را گام به گام و با شبکه‌های بازگشتی پردازش می‌کردند. توجه به هر موقعیت اجازه می‌دهد مستقیماً به همه‌ی موقعیت‌های دیگر نگاه کند.

توجه ضرب نقطه‌ای مقیاس‌شده#

توجه سه ماتریس می‌گیرد: کوئری‌ها (queries) Q، کلیدها (keys) K و مقدارها (values) V. مقاله آن را این‌گونه تعریف می‌کند [2]:

Attention(Q, K, V) = softmax( Q·Kᵀ / √d_k ) · V

آن را از درون به بیرون بخوانید:

  1. Q·Kᵀ با ضرب نقطه‌ای می‌سنجد که هر کوئری چقدر با هر کلید جور است.
  2. ÷ √d_k امتیازها را مقیاس می‌کند؛ d_k بُعد کلیدهاست.
  3. softmax هر سطر از امتیازها را به وزن‌هایی تبدیل می‌کند که مثبت‌اند و جمعشان ۱ می‌شود.
  4. · V با این وزن‌ها میانگین وزنی مقدارها را می‌گیرد.

چرا تقسیم بر √d_k#

مقاله توضیح می‌دهد که وقتی d_k بزرگ است، اندازه‌ی ضرب‌های نقطه‌ای بزرگ می‌شود و softmax را به نواحی‌ای می‌راند که گرادیان‌هایش بسیار کوچک‌اند [2]. اگر مؤلفه‌های کوئری‌ها و کلیدها مستقل و با میانگین ۰ و واریانس ۱ باشند، ضرب نقطه‌ای آن‌ها میانگین ۰ و واریانس d_k دارد [2]. تقسیم بر √d_k واریانس را به ۱ برمی‌گرداند و همین آموزش را پایدار نگه می‌دارد.

توجه چندسَر#

یک تابع توجه ورودی را تنها از یک زاویه می‌بیند. توجه چندسَر (multi-head attention) چند تابع توجه را به‌موازات اجرا می‌کند، هر یک با تصویرهای (projections) آموخته‌شده‌ی خودش، و نتایج را به هم الحاق می‌کند [2]:

MultiHead(Q, K, V) = Concat(head₁, …, head_h) · Wᴼ
where headᵢ = Attention(Q·Wᵢᵠ, K·Wᵢᴷ, V·Wᵢⱽ)

مدل پایه‌ی مقاله از h = 8 سر استفاده می‌کند، با d_model = 512 و d_k = d_v = d_model / h = 64 [2]. چون هر سر در بُعدی کوچک‌تر کار می‌کند، هزینه‌ی کل تقریباً برابر با یک سر واحد با ابعاد کامل است [2].

کدگذاری موقعیتی#

توجه به‌تنهایی درکی از ترتیب ندارد و ورودی را مثل یک مجموعه می‌بیند. مقاله به هر تعبیه‌ی ورودی یک کدگذاری موقعیتی (positional encoding) اضافه می‌کند که از توابع سینوس و کسینوس با بسامدهای مختلف ساخته می‌شود [2]:

PE(pos, 2i)   = sin( pos / 10000^(2i / d_model) )
PE(pos, 2i+1) = cos( pos / 10000^(2i / d_model) )

در اینجا pos موقعیت در دنباله و i شماره‌ی بُعد است.

مدل کامل، به زبان اعداد#

  • رمزگذار (encoder) و رمزگشا (decoder) هر کدام پشته‌ای از N = 6 لایه‌ی یکسان‌اند [2].
  • در وظیفه‌ی ترجمه‌ی انگلیسی به آلمانی WMT 2014، مدل به ۲۸٫۴ BLEU رسید و در انگلیسی به فرانسوی به ۴۱٫۸ BLEU [1].
  • نتیجه‌ی ۴۱٫۸ BLEU در ترجمه‌ی انگلیسی به فرانسوی پس از ۳٫۵ روز آموزش روی هشت GPU به دست آمد [1].

چرا برای توسعه‌دهندگان مهم است#

دو پیامد این طراحی شیوه‌ی کار امروز ما با مدل‌های زبانی را شکل می‌دهد. چون هر موقعیت به همه‌ی موقعیت‌های دیگر توجه می‌کند، هزینه‌ی توجه با مجذور طول دنباله رشد می‌کند و به همین دلیل پنجره‌های زمینه (context window) محدودیتی واقعی‌اند. و چون توجه همه‌ی موقعیت‌ها را هم‌زمان وزن می‌دهد، اینکه چه چیزی را و در کجای زمینه می‌گذارید بر خروجی اثر دارد. درباره‌ی جنبه‌ی عملی این موضوع در تولید تقویت‌شده با بازیابی نوشته‌ام.

جمع‌بندی#

  • ترنسفورمر بازگشت و کانولوشن را با توجه جایگزین می‌کند [1].
  • توجه برابر است با softmax(Q·Kᵀ / √d_k) · V؛ عامل √d_k جلوی افتادن softmax به نواحی کم‌گرادیان را می‌گیرد [2].
  • مدل پایه از ۸ سر با بُعد ۶۴، d_model = 512، و ۶ لایه در هر یک از رمزگذار و رمزگشا استفاده می‌کند [2].
  • کدگذاری‌های موقعیتی سینوسی به مدل درکی از ترتیب می‌دهند [2].

منابع#

  1. Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., Polosukhin, I. “Attention Is All You Need.” 2017. Abstract: https://arxiv.org/abs/1706.03762
  2. The same paper, full text (sections 3.2 and 3.5): https://arxiv.org/html/1706.03762v7

مقاله‌های مرتبط

مدل‌های زبانی متن را چطور می‌خوانند: توکن، BPE و اینکه چرا فارسی گران‌تر تمام می‌شود

توکن چیست، BPE چطور واژگان می‌سازد، چرا فارسی و ترکی توکن بیشتری از انگلیسی می‌گیرند، و چطور به‌جای حدس زدن توکن‌ها را بشماریم.

هوش مصنوعی۴ دقیقه مطالعه

چگونه یک سامانه‌ی RAG را ارزیابی کنیم: معیارهای بازیابی، وفاداری و داوران LLM

بازیابی و تولید را جداگانه بسنجید: recall@k، MRR و nDCG برای بازیاب و وفاداری برای پاسخ؛ و آنچه پژوهش‌ها درباره‌ی استفاده از مدل‌های زبانی به‌عنوان داور می‌گویند.

هوش مصنوعی۶ دقیقه مطالعه

کوانتیزه‌سازی مدل‌های زبانی بزرگ: وزن‌های ۸ بیتی و ۴ بیتی چگونه کار می‌کنند

چرا یک مدل ۷ میلیارد پارامتری در حالت ۱۶ بیتی به ۱۴ گیگابایت حافظه نیاز دارد، کوانتیزه‌سازی چطور آن را کوچک می‌کند، چرا داده‌های پرت کار را دشوار می‌کنند و هر یک از روش‌های LLM.int8()، GPTQ، AWQ و QLoRA چه چیزی را تغییر دادند.

هوش مصنوعی۶ دقیقه مطالعه