ORCIDGitHubLinkedIn
RSS Özgeçmiş EN

Transformer

Türkçe karşılığı: Transformer mimarisiAlan: Yapay Zeka

Dizisel veriyi zorunlu bir özyineleme olmadan attention mekanizmalarıyla işleyen sinir ağı mimarisi.

Teknik Bağlam

Transformer katmanları self-attention, ileri beslemeli ağlar, artık bağlantılar ve normalizasyon bileşenleriyle tokenlar arasındaki bağlamı işler. Paralel eğitime elverişli yapısı ve uzun menzilli bağımlılıkları modelleyebilmesi; dil, görüntü ve çok kipli modellerde yaygınlaşmasının temel nedenlerindendir.

Kavramsal Sınır

Transformer tek başına büyük dil modeli değildir. Model boyutu, eğitim amacı, tokenizasyon ve çözümleme stratejisi ayrı tasarım boyutlarıdır.

İlgili Kavramlar

Kaynak

  • https://arxiv.org/abs/1706.03762

İlgili makale: Görüntüden Örüntü ve Metin Tanıma

İlgili teknik yazı: Yapay Zeka: Felsefe, Kuram ve Uygulama.

Son güncelleme:

İlgili kavramlar

Yapay Zeka

İlgili teknik yayınlar

Başlık veya özetinde bu kavrama doğrudan karşılık gelen yayınlar.

Büyük Dil Modelleri

Büyük dil modellerini dil modellemesi ve Transformer mimarisinden ön eğitim, sonradan eğitim, RAG, ince ayar, akıl yürütme, araç kullanımı, ajanlar, güvenlik, değerlendirme ve üretim mühendisliğine kadar; diğer yapay zeka yaklaşımlarıyla ilişkileri içinde ele alan kapsamlı ders notu.

Doğal Dil İşleme

Türkçe ağırlıklı doğal dil işleme; Unicode ve normalizasyon, tokenlaştırma, biçimbilim, sözdizimi, anlambilim, istatistiksel NLP, Transformer, çok dilli modeller, konuşma, LLM ve üretim mühendisliğini karşılaştırmalı ele alan kapsamlı ders notu.

Yapay Zeka: Felsefe, Kuram ve Uygulama

Yapay zekanın felsefi köklerinden güncel model ve ajan sistemlerine; zeka tanımları, mantık ve sembolik yapay zeka, arama, uzman sistemler, olasılık, sinir ağları, doğal dil işleme, biyometri, Transformer, RAG, güvenlik ve üretim mimarisini birleştiren ders notu.

Konuşma Tanıma Sistemlerinde Whisper Mimarisi

Whisper, 16 kHz sesi log-Mel spektrogramına dönüştürüp kodlayıcı-kod çözücü Transformer ile otoregresif token üretir; dil, görev ve zaman damgası bilgileri özel tokenlarla aynı dizide taşınır.