Označení: | 18NES2 (zimní semestr 2024/25) |
Web: | http://zuzka.petricek.net/vyuka_2024/NES2_2024/index.php |
Cvičení: | čtvtek 10:00 T115 |
Předpokládaný obsah cvičení
Seznámíme se s různými základními modely hlubokých neuronových sítí (základní model, konvoluční neuronové sítě, rekurentní neuronové sítě, enkodery). Naučíme se, jak implementovat probírané modely v Pythonu s využitím oblíbených knihoven a použít je pro řešení praktických úloh. Detaily též v KOSu.
Předmět navazuje na předmět Neuronové sítě 1 (18NES1,2+2 KZ, letní semestr)
-
1. cvičení 26.9.2024:
Úvod do strojového učení a neuronových sítí.
Python a jeho knihovny pro strojové učení (NumPy, SciPy, Matplotlib, Pandas, Seaborn) a hluboké učení (Keras, Pytorch. TensorFlow). -
2-4. cvičení 3.10.2024, 10.10.2024, 17.10.2024:
Vícevrstvé neuronové sítě (architektura, učení, parametry, opakování z letního semestru).
Různé typy úloh (regrese, binární klasifikace, klasifikace do více tříd, predikce časové řady).
Techniky pro vyhodnocení kvality modelu a pro zlepšení učení.
Python a jeho knihovny pro hluboké učení (Keras, Pytorch, TensorFlow). Řešení praktických úloh různého typu. -
5-7. cvičení 24.10.2024, 31.10.2024, 7.11.2024:
Konvoluční neuronové sítě. Opakování z LS. Architektura modelu, konvoluce (binární klasifikace obrázků, klasifikace do více tříd). Typické úlohy. Techniky pro zlepšení učení. Hluboké učení a data. Předučení a transfer learning.
Algoritmy pro učení hlubokých neronových sítí, optimalizace a ladění hyperparametrů. Konvoluční neuronové sítě v Kerasu. Řešení praktických úloh různého typu. -
8-10. cvičení 14.11.2024, 21.11.2024, 28.11.2024:
Moderní architektury konvolučních neuronových sítí. Konvoluční neuronové sítě a řešení dalších typů úloh (např. zpracování signálů, detekce objektů nebo segmentace).
Řešení praktických úloh různého typu. -
11. cvičení 5.12.2024:
Sekvenční data a modely neuronových sítí vhodné pro jejich pro zpracování (jednodim. konvoluční sítě, GRU, LSTM).
Praktické příklady. -
12. cvičení 12.12.2024:
Autoenkodery a jejich využití (např. redukce dimenzionality, odstranění šumu, detekce anomálií).
Praktické příklady. -
Pokud zbyde čas:
Letmý úvod do pokročilejších modelů hlubokého učení (např. siamese model, generativní modely, transformery) -
12-13. cvičení 12-17.12.2024:
Prezentace projektů.
Podmínky pro získání zápočtu
Na záložce Zápočty.
Rozcestník (předměty o strojovém učení)
- 18NES1 Neuronové sítě 1
- 2. ročník BS, LS, KSI
- Úvod do umělých neuronových sítí. Důraz na jednoduché modely a jejich pochopení.
- U1USU Úvod do strojového učení
- 3. ročník BS, ZS, KM
- Základní modely a metody strojového učení. Digitální zpracování obrazu.
- 18NES2 Neuronové sítě 2
- 3. ročník BS, ZS, KSI
- Hluboké neuronové sítě. Důraz na praktické dovednosti.
- 18AAIO Aplikace AI pro zpracování obrazu
- 2. ročník BS, 2.-6. září 2024, 3 kredity
- Intenzivní týdenní seminář na pracovišti v Děčíně, 2-3členné pracovní skupiny
- Ubytování zajištěno, kompenzace cestovních a ubytovacích nákladů
- U1SU2 Strojové učení 2
- 1. ročník NMS, ZS, KM
- Pokročilé modely a metody strojového učení. Hluboké neuronové sítě a další modely do hloubky :-).
- 18UIA1 Úvod do pokročilých algoritmů
- 1. ročník NMS, ZS, KSI
- Další vybrané metody a algoritmy strojového učení a umělé inteligence. Zaměřeno (nejen) na robotiku.
- 18UIA2 Pokročilé algoritmy 2
- 1. ročník NMS, LS, KSI
- Další vybrané metody a algoritmy strojového učení a umělé inteligence. Zaměřeno (nejen) na robotiku.
- 18SC Softcomputing
- 1. ročník NMS, ZS, KSI
- Fuzzy systémy a související modely neuronových sítí
- 01AOM Aplikace optimalizačních metod
- 2. ročník NMS, ZS, KM
- Více o optimalizačních metodách (nejen) pro hluboké neuronové sítě.
- 01NEUR1 Neuronové sítě a jejich aplikace 1
- 1. ročník NMS, LS, KM
- Teoretické aspekty neuronových sítí.
- 01NEUR2 Teoretické základy neuronových sítí
- 2. ročník NMS, ZS, KM
- Teoretické aspekty neuronových sítí.
Odkazy
[1] M. Nielson: Neural Networks and Deep Learning, 2019. dostupné online. Github s příklady. Úvod do hlubokého učení - pohled dovnitř.
[2] F. Chollet, M. Watson: Deep Learning with Python, Second Edition, 2021 (Third Edition - 2025). Github s příklady. Existuje i v češtině (Deep learning v jazyku Python). Úvod do hlubokého učení - podrobně.
[3] A. Kapoor , A. Gulli , S. Pal: Deep Learning with TensorFlow and Keras – 3rd edition, 2022. Github s příklady. Pokročilejší metody hlubokého učení.
[4] Oficiální dokumentace Kerasu, řešené příklady: Keras examples
[5] I. Goodfellow, Y. Bengio, A. Courville: Deep Learning, MIT Press, 2016. Klasická učebnice, teoretický pohled.
[6] Kaggle Notebooks. Další inspirace a zdroj příkladů.
Hezké video-kurzy:
[1] "https://www.youtube.com/playlist?list=PL2o3po04f3KZL0xq1PFjn3FUGl-uEiXEn" Video-kurz Františka Voldřicha v českém jazyce vycházející z knihy M. Nielsona.
[2] https://ufal.mff.cuni.cz/courses/npfl138/2324-summer Kurz MFF UK na téma hlubokého učení. Dostupné jsou záznamy přednášek a cvičení (ČJ, AJ), materiály a zadání příkladů.
[3] http://introtodeeplearning.com/ Kurz MIT. Záznamy přednášek.
Vývojové prostředí a hnihovny
- Prostředí Google Colab https://colab.research.google.com
Výhoda: prostředí podobné JupyterLab, které již znáte, netřeba cokoliv instalovat a konfigurovat, (omezený) přístup ke GPU, integrovaná AI.
Nevýhoda: je potřeba mít Google účet, být online, službu ,,nemáme pod kontrolou'', jsou zde různá omezení - Můžete pracovat i na svém počítači ve svém oblíbeném vývojovém prostředí, je třeba nainstalovat potřebné knihovny (Keras, TensorFlow, atd.)
Někdy se může hodit GPU, ale lze se obejít i bez něj (pro jednodušší úlohy). - Fakultní JupyterLab?
Programy ze cvičení
Budou k dispozici (aktuálně na GitHubu).
Konzultace v semestru
Konzultace v semestru jsou možné po předchozí domluvě (emailem nebo osobně) ve všední dny v čase 9:00-14:30 mimo výuku a mé další povinnosti. Doporučený čas pro konzultaci je čtvrtek po cvičení. Své dotazy a připomínky mi také můžete psát na email.
Kontakt
RNDr. Zuzana Petříčková, Ph.D. | |
Web: | http://zuzka.petricek.net |
Email: | reitezuz << at >> fjfi.cvut.cz |
Adresa: | KSI FJFI ČVUT, Trojanova 13, Praha 2, místnost č. 44/45 (přízemí vlevo, za katedrou jazyků). |