Transformer

Türkçe karşılığı: Transformer mimarisiAlan: Yapay Zeka

Dizisel veriyi zorunlu bir özyineleme olmadan attention mekanizmalarıyla işleyen sinir ağı mimarisi.

Teknik Bağlam

Transformer katmanları self-attention, ileri beslemeli ağlar, artık bağlantılar ve normalizasyon bileşenleriyle tokenlar arasındaki bağlamı işler. Paralel eğitime elverişli yapısı ve uzun menzilli bağımlılıkları modelleyebilmesi; dil, görüntü ve çok kipli modellerde yaygınlaşmasının temel nedenlerindendir.

Kavramsal Sınır

Transformer tek başına büyük dil modeli değildir. Model boyutu, eğitim amacı, tokenizasyon ve çözümleme stratejisi ayrı tasarım boyutlarıdır.

İlgili Kavramlar

Kaynak

  • https://arxiv.org/abs/1706.03762

İlgili makale: Görüntüden Örüntü ve Metin Tanıma

İlgili teknik yazı: Yapay Zeka: Felsefe, Kuram ve Uygulama.

İlgili teknik yayınlar

Başlık veya özetinde bu kavrama doğrudan karşılık gelen yayınlar.

Yapay Zeka: Felsefe, Kuram ve Uygulama

Yapay zekanın felsefi köklerinden güncel model ve ajan sistemlerine; zeka tanımları, mantık ve sembolik yapay zeka, arama, uzman sistemler, olasılık, sinir ağları, doğal dil işleme, biyometri, Transformer, RAG, güvenlik ve üretim mimarisini birleştiren ders notu.

Büyük Dil Modelleri

Büyük dil modellerini dil modellemesi ve Transformer mimarisinden ön eğitim, sonradan eğitim, RAG, ince ayar, akıl yürütme, araç kullanımı, ajanlar, güvenlik, değerlendirme ve üretim mühendisliğine kadar; diğer yapay zeka yaklaşımlarıyla ilişkileri içinde ele alan kapsamlı ders notu.

Yapay Sinir Ağları ve Öğrenme Modelleri

Yapay sinir ağlarının tarihsel temelleri, nöron modelleri, perceptron ve MLP; geri yayılım, Gauss–Newton, LM ve RLS ile eğitim; LVQ, ART, RNN, CNN, Transformer, üretken modeller, graf ve tensör ağları; sistem tanıma, sıkıştırma ve bilimsel değerlendirme.

Doğal Dil İşleme

Türkçe ağırlıklı doğal dil işleme; Unicode ve normalizasyon, tokenlaştırma, biçimbilim, sözdizimi, anlambilim, istatistiksel NLP, Transformer, çok dilli modeller, konuşma, LLM ve üretim mühendisliğini karşılaştırmalı ele alan kapsamlı ders notu.