Yapay zekâ mühendisliği
Yapay zekâ mühendisliği, makine öğrenmesi modelleri etrafında yazılım geliştirme işidir: doğru bilgiyi getirmek, modellerin nasıl çalıştığını anlamak ve onları gerçek ürünlerin içinde çalıştırmak.
Konu rehberi: Parsa Alizadeh. Başlamak için bir yazı, daha derin yazılar ve konunun gerçek işte karşımıza çıktığı projeler.
Buradan başlayın
Daha derine inin
Orijinal makalesinden Transformer: geliştiriciler için dikkat mekanizması
Ölçeklenmiş nokta çarpımı dikkati, çok başlı dikkat ve konumsal kodlamanın nasıl çalıştığı; formüller ve ayarlar doğrudan “Attention Is All You Need” makalesinden alınmıştır.
Yapay zekâ3 dk okuma
Dil modelleri metni nasıl okur: token’lar, BPE ve Türkçenin neden daha pahalı olduğu
Token nedir, BPE sözlüğü nasıl kurar, Farsça ve Türkçe neden İngilizceden daha fazla token tutar ve tahmin etmek yerine token nasıl sayılır.
Yapay zekâ4 dk okuma
Vektör arama komşuları nasıl hızla bulur: gömmeler, benzerlik ve HNSW
Tam en yakın komşu aramasının neden ölçeklenmediği, yaklaşık aramanın neyden ödün verdiği ve Malkov ile Yashunin’in makalesindeki HNSW grafının yakın vektörleri nasıl hızla bulduğu.
Yapay zekâ3 dk okuma
Bir RAG sistemi nasıl değerlendirilir: erişim metrikleri, sadakat ve LLM hakemler
Erişimi ve üretimi ayrı ayrı ölçün: erişici için recall@k, MRR ve nDCG, cevap için sadakat; ayrıca dil modellerinin hakem olarak kullanılması hakkında araştırmaların söyledikleri.
Yapay zekâ5 dk okuma
Büyük dil modellerini nicelemek: 8 bit ve 4 bit ağırlıklar nasıl çalışır
7 milyar parametreli bir modelin 16 bitte neden 14 GB’a ihtiyaç duyduğu, nicelemenin bunu nasıl küçülttüğü, aykırı değerlerin işi neden zorlaştırdığı ve LLM.int8(), GPTQ, AWQ ile QLoRA’nın her birinin neyi değiştirdiği.
Yapay zekâ5 dk okuma