# Görüntüden Dudak Okuma

> Dudak ve yüz hareketlerinden zamansal konuşma temsili çıkarma, viseme belirsizliği ve ses-görüntü füzyonu üzerine çok kipli yaklaşım.

- Author: Muhammet Ali Köker
- Language: tr
- Canonical: https://alikoker.com.tr/goruntude-dudak-okuma
- Translation: https://alikoker.com.tr/en/visual-speech-recognition-and-lip-reading
- Published: 2022-03-03T15:10:06+03:00
- Modified: 2026-08-31T22:21:00+03:00
- Verified: 2026-08-31T22:07:00+03:00
- Type: article

Dudak okuma veya görsel konuşma tanıma, ağız ve yüz hareketlerinin zaman içindeki değişiminden konuşma içeriği çıkarmayı amaçlar. Problem tek kare sınıflandırmasından çok zamansal ve çok kipli bir işaret işleme problemidir.

## Görsel konuşma işareti

Dudak, çene ve yanak hareketleri konuşma üretimiyle ilişkilidir. Bununla birlikte farklı fonemler benzer ağız şekilleri oluşturabildiği için viseme düzeyinde belirsizlik bulunur. Kamera açısı, kare hızı, çözünürlük, yüz örtüleri ve aydınlatma elde edilen bilgiyi değiştirir.

[Görsel konuşma tanıma](/wiki/visual-speech-recognition) için yüz ve ağız bölgesinin kararlı biçimde izlenmesi gerekir.

## Zamansal modelleme

3B evrişimler, recurrent ağlar, temporal convolution ve Transformer tabanlı modeller kare dizileri üzerindeki hareket örüntülerini işler. CTC veya attention tabanlı çözücüler görsel öznitelikleri karakter ya da token dizilerine dönüştürebilir.

## Ses-görüntü birleştirme

[Sesli-görsel konuşma tanıma](/wiki/audio-visual-speech-recognition), akustik işaret zayıfladığında görsel kanalı ek bilgi olarak kullanır. Birleştirme öznitelik, temsil veya karar düzeyinde yapılabilir.

Ses ve görüntü zamanlamasının doğru eşlenmesi gerekir. Kamera ve mikrofon saatleri, tamponlama ve aktarım gecikmeleri iki kanal arasında kaymaya neden olabilir.

## Bu Çalışmaya Atıf

Köker, M. A. (2022). Görüntüden Dudak Okuma. alikoker.com.tr. https://alikoker.com.tr/goruntude-dudak-okuma

- BibTeX: https://alikoker.com.tr/goruntude-dudak-okuma.bib
- RIS: https://alikoker.com.tr/goruntude-dudak-okuma.ris
- CSL-JSON: https://alikoker.com.tr/goruntude-dudak-okuma.csl.json