Inference Engineering
Eğitilmiş bir modeli üretimde gecikme, throughput, bellek, doğruluk, maliyet ve donanım kısıtları altında güvenilir biçimde çalıştırmayı konu alan mühendislik alanı.
Çıkarım mühendisliği, eğitilmiş bir modelin gerçek kullanım koşullarında doğruluk, hizmet kapasitesi, gecikme ve kaynak tüketimi bakımından yürütülmesini ele alır. İşlem hattı veri hazırlama, modele aktarım, operatör yürütme, çıktı işleme ve sonuç teslimi aşamalarından oluşur. Bu nedenle yalnız çekirdek modelin çalışma süresi uçtan uca istek gecikmesini temsil etmez.
Hizmet süresi ve kapasite
İstek başına uçtan uca gecikme T = T_pre + T_transfer + T_infer + T_post + T_queue biçiminde ayrıştırılabilir. Terimler veri hazırlama, aktarım, model hesaplaması, çıktı işleme ve kuyrukta beklemeye karşılık gelir. Gecikmenin p50, p95 ve p99 yüzdelikleri ile tamamlanan istek/saniye ölçümü birlikte ele alınır. Kuyruk kararlılığı için uzun dönem geliş hızı, sürdürülebilir hizmet kapasitesiyle karşılaştırılır; kısa süreli iş patlamaları ayrıca hesaba katılır.
Batch büyüklüğü, CPU iş parçacığı sayısı, GPU bellek yerleşimi ve eşzamanlı istek sayısı bellek trafiği ile hesaplama kullanımını değiştirir. Quantization bellek ve işlem maliyetini etkilerken model kalitesi de aynı ölçüm sözleşmesinde değerlendirilir. Karşılaştırmalar eşit giriş dağılımı, model sürümü, warm-up koşulları ve donanım sınırları altında yapılır.
Inference Engine operatörlerin yürütme katmanıdır. Gerçek Zamanlı Konuşma Tanımada Kapasite Mühendisliği ise hizmet oranı ve sınırlı kuyruk ilişkisini ayrıntılandırır. Donanım temelli çıkarım tasarımı FPGA Üzerinde LLM Çıkarımı ve HLS kapsamında ele alınır.