Inference Engineering
Eğitilmiş bir modeli üretimde gecikme, throughput, bellek, doğruluk, maliyet ve donanım kısıtları altında güvenilir biçimde çalıştırmayı konu alan mühendislik alanı.
Bir modelin doğruluk metriği iyi olabilir; bu, üretimde iyi bir çıkarım sistemi olduğu anlamına gelmez. Çıkarım mühendisliği model grafiğinin gerçek donanım üzerindeki davranışını; preprocessing, batching, veri transferi, runtime seçimi, quantization, concurrency ve post-processing ile birlikte ölçer.
Buradaki temel ayrım Inference Engine ile sistem tasarımı arasındadır. Engine operatörleri yürütür; mühendislik problemi ise uçtan uca gecikme bütçesini, kapasiteyi ve hata davranışını belirler. Aynı model CPU, GPU veya FPGA üzerinde farklı darboğazlar oluşturabilir.
FPGA Üzerinde LLM Çıkarımı ve HLS donanım tarafını, Gerçek Zamanlı Konuşma Tanımada Kapasite Mühendisliği ise kuyruk ve servis kapasitesi tarafını somutlaştırır.