| Ders Adı | Kodu | Verildiği Yıl | Verildiği Yarıyıl | Süresi (T+U) | Yerel Kredisi | AKTS Kredisi |
| Konuşma İşleme | CENG 622 | | | 3 + 0 | 3 | 7,50 |
| |
| Ders Bilgileri |
| Dersin Öğretim Dili | İngilizce |
| Dersin Seviyesi | Doktora |
| Dersin Türü | Seçmeli |
| Dersin Veriliş Biçimi | Yüz Yüze |
| |
Dersin Öğrenme Kazanımları:
Bu dersi başarı ile tamamlayan öğrenciler: |
| 1. İnsan konuşma üretiminin mekanizmasını ve konuşma sinyallerinin dijital modellerini anlamak |
| 2. Konuşma sinyallerini Zaman ve frekans alanı gösterimleri açısından analiz etmek için standart dijital sinyal işleme araçlarını uygulayın. |
| 3. Konuşma sinyalinin Doğrusal Tahmini analizini ve farklı perde periyodu tahmin yöntemlerini anlayın |
| 4. Konuşma sinyalinin Homomorfik işlenmesini ve konuşma iyileştirme dahil olmak üzere konuşma işleme uygulamalarını anlamak. |
| 5. Konuşmacı tanıma ve konuşma tanıma dahil olmak üzere konuşma işleme uygulamalarını anlamak |
| |
| Dersin Önkoşulları ve Birlikte Alınması Gereken Dersler | Yok |
| Daha Önce Alınmış Olması Önerilen Dersler | Yok |
| |
Dersin Tanımı:
Temel Kavramlar: Konuşma Temelleri: Artikülasyon Fonetiği – Konuşma Seslerinin Üretimi ve Sınıflandırılması; Akustik Fonetik – konuşma üretiminin akustiği; Dijital Sinyal İşleme kavramlarının gözden geçirilmesi; Kısa Süreli Fourier Dönüşümü, Filtre Bankası ve LPC Yöntemleri. Konuşma Analizi: Özellikler, Özellik Çıkarımı ve Desen Karşılaştırma Teknikleri: Konuşma bozulma ölçümleri – matematiksel ve algısal – Log Spektral Mesafe, Cepstral Mesafeler, Ağırlıklı Cepstral Mesafeler ve Filtreleme, Olasılık Bozulmaları, Eğri Frekans Ölçeği kullanılarak Spektral Bozulma, LPC, PLP ve MFCC Katsayıları, Zaman Hizalaması ve Normalizasyon – Dinamik Zaman Eğrileme, Çoklu Zaman – Hizalama Yolları. Konuşma
Modelleme: Gizli Markov Modelleri: Markov İşlemleri, HMM'ler – Değerlendirme, Optimal Durum Dizisi – Viterbi Araması, Baum-Welch Parametre Yeniden Tahmini, Uygulama sorunları. Konuşma Tanıma: Büyük Kelime Dağarcığı Sürekli Konuşma Tanıma: Büyük kelime dağarcığı sürekli konuşma tanıma sisteminin mimarisi – akustik ve dil modelleri – n gram, bağlama bağlı alt kelime birimleri; Uygulamalar ve mevcut durum. Konuşma Sentezi: Metinden Konuşmaya Sentez: Bağlaçlı ve dalga formu sentez yöntemleri, TTS için alt kelime birimleri, anlaşılırlık ve doğallık – prozodinin rolü, Uygulamalar ve mevcut durum. |
| |
| Dersin İçeriği (Haftalık Konu Dağılımı): |
| |
| Hafta | Konu |
| 1 | |
| 2 | |
| 3 | |
| 4 | |
| 5 | |
| 6 | |
| 7 | |
| 8 | |
| 9 | |
| 10 | |
| 11 | |
| 12 | |
| 13 | |
| 14 | |
| |
| Kaynaklar: |
| 1.Lawrence Rabinerand Biing-Hwang Juang, “Fundamentals of Speech Recognition”, Pearson
Education, 2003.
2.Daniel Jurafsky and James H Martin, “Speech and Language Processing – An Introduction to
Natural Language Processing, Computational Linguistics, and Speech Recognition”, Pearson
Education. |
| |
| Diğer Kaynaklar: |
| 1.Steven W. Smith, “The Scientist and Engineer’s Guide to Digital Signal Processing”,
California Technical Publishing.
2.Thomas F Quatieri, “Discrete-Time Speech Signal Processing – Principles and Practice”,
Pearson Education.
3.Claudio Becchetti and Lucio Prina Ricotti, “Speech Recognition”, John Wiley and Sons, 1999.
4.Ben gold and Nelson Morgan, “Speech and audio signal processing”, processing and
perception of speech and music, Wiley- India Edition, 2006 Edition.
5.Frederick Jelinek, “Statistical Methods of Speech Recognition”, MIT Press |
| |
| Öğretim Yöntem ve Teknikleri: |
| Konuşma İşleme, insan konuşmasının bilgisayarlar tarafından nasıl işlenebileceğine dair pratik ve teorik bir anlayış sunar. Konuşma tanıma, konuşma sentezi ve konuşulan diyalog sistemlerini kapsar. Kurs, öğrencinin çalışan konuşma tanıma sistemleri inşa edeceği, kendi sentetik sesini inşa edeceği ve eksiksiz bir telefon konuşulan diyalog sistemi inşa edeceği pratikleri içerir. Bu çalışma mevcut araç setlerine dayanacaktır. Algoritmaların, tekniklerin ve son teknoloji konuşma sistemlerinin sınırlamalarının ayrıntıları da sunulacaktır. Bu kurs, gerçek uygulamalar için gerçek verilerin nasıl işleneceğini, istatistiksel ve makine öğrenimi tekniklerinin nasıl uygulanacağını ve teknolojideki sınırlamalarla nasıl çalışılacağını anlamak isteyen öğrenciler için tasarlanmıştır.
Ödev: Ödev iki bileşenden oluşur: ara sıra Haftalık kısa okuma ödevleri ve dört programlama projesi (Konuşma Tanıma, Konuşma Sentezi, Konuşulan Diyalog Sistemleri ve bir diğeri).
Notlandırma: %10 ders katılımı, %60 programlama projeleri, %10 okuma ödevi, %20 final. |
| |
| Değerlendirme Sistemi: |
| Yöntem | Adet | Katkı (%) |
| Ara Sınav | 1 | %20 |
| Proje | 1 | %20 |
| Sunum | 1 | %10 |
| Take-home assignments | 4 | %20 |
| Final Sınavı | 1 | %30 |
| |
| Ders İşbaşı Eğitimi (iş yerinde eğitim) Gerektiriyor mu? |
| Gerektirmiyor |