Bölümümüzde “MKT6108 Mekatronik Mühendisliğinde Özel Konular” başlığı altında, Pekiştirmeli Öğrenmeli Kontrol dersi açılmıştır. Ders, özellikle doğrusal olmayan mekatronik sistemlerde pekiştirmeli öğrenmenin karar verme ve değerleme mekanizmalarını dinamik programlama, Bellman önermesi ve Hamilton–Jacobi–Bellman çerçevesi ile bütünleştirerek kuramdan uygulamaya uzanan kapsamlı bir yol haritası sunmaktadır.
Ders Kodu: MKT6108
Ders İçeriği: Pekiştirmeli öğrenmeli kontrol yöntemlerinin optimal kontrol ile birleştirilmesi
Öğretim Görevlisi: Dr. Öğrt. Üyesi Mehmet İŞCAN
Gün ve Saat: Pazartesi, 13.00–16.00
Yer: A113
Dersin Amacı
- Belirsizlik ve kısıt içeren doğrusal olmayan sistemlerde, pekiştirmeli öğrenmenin temel ilkelerini ve optimal kontrol kuramını matematiksel tutarlılık içinde bir araya getirerek, güvenli, kararlı ve gerçek zamanlı denetleyici tasarlama becerisi kazandırmak.
- Öğrencileri hem kuramsal ispatlar hem de uygulamalı çalışmalar bakımından yetkinleştirmek.
Kapsam – Başlıca Konu Hatları
- Giriş: Pekiştirmeli öğrenmenin kontrol problemlerindeki yeri; optimal kontrol ile bağların kurulması.
- Tablolu yöntemler: Çok kollu bandit problemleriyle keşif–sömürü dengesinin denetim açısından yorumlanması; sonlu durum–eylem uzayında Markov karar süreçlerinin modelleme aracı olarak kullanımı; dinamik programlama ile değer yineleme ve politika yineleme; örnek temelli Monte Carlo yöntemleri; zamansal fark öğrenmesi; n–adımlı önyükleme; planlama ile öğrenmenin hibritlenmesi.
- Yaklaşık yöntemler: Sürekli durum ve eylem uzaylarında fonksiyon yaklaştırma yaklaşımları; yerinde öğrenme ve yerinde olmayan öğrenme düzenekleri; uygunluk izleri ile hata yayılımının hızlandırılması; politika gradyanı ailesi ve pratik tasarım ilkeleri (ödül–maliyet seçimi, doygunluk ve kısıtlar, yakınsama ve güvenilirlik tartışmaları).
- Kararlılık ve güvenirlik: Lyapunov kararlılığı temelli analiz, performans ve emniyet ölçütlerinin oluşturulması; bozucu etkiler ve parametre belirsizlikleri altında dayanıklılık değerlendirmeleri.
Uygulamalar ve Yazılım
Tüm konu başlıkları PYTHON ortamında ayrıntılı biçimde gösterilecektir. Ayrıca MATLAB Embedded Coder kullanılarak doğrusal olmayan bir doğru akım motorunun uygulamalı kontrolü gerçek zamanlı olarak tasarlanacak ve STM32F7 Nucleo kartı üzerinde MATLAB entegrasyonlu olarak çalıştırılacaktır. Çalışmalarda doygunluk, kısıtlar ve bozucu etkiler altında performans ile emniyet ölçütleri özellikle vurgulanacaktır.
Değerlendirme
- Bir dönem projesi (tasarım, analiz ve uygulama odaklı)
- İki uygulamalı sınav projesi: bir ara değerlendirme ve bir dönem sonu değerlendirmesi (uygulama ve raporlama)
Derse ilgi duyan öğrencilerimizin kayıt yaptırmaları önemle rica olunur.
ÖNEMLİ NOT: Sınıf kontenjanı aşılmadığı ve lisansüstü öğrencilerin hak kaybına yol açmayacağı koşuluyla, lisans öğrencileri derse kayıtlı ya da dinleyici olarak katılabilirler.