Neuronové sítě 2

• Domů
• O předmětu
• Zápočty
• Poznámky

Předpokládaný obsah cvičení

Seznámíme se s různými základními modely hlubokých neuronových sítí (základní model, konvoluční neuronové sítě, rekurentní neuronové sítě, enkodery). Naučíme se, jak implementovat probírané modely v Pythonu s využitím oblíbených knihoven a použít je pro řešení praktických úloh. Detaily též v KOSu.

Předmět navazuje na předmět Neuronové sítě 1 (18NES1,2+2 KZ, letní semestr)

• 1. cvičení 26.9.2024:
  Úvod do strojového učení a neuronových sítí.
  Python a jeho knihovny pro strojové učení (NumPy, SciPy, Matplotlib, Pandas, Seaborn) a hluboké učení (Keras, Pytorch. TensorFlow).
• 2-4. cvičení 3.10.2024, 10.10.2024, 17.10.2024:
  Vícevrstvé neuronové sítě (architektura, učení, parametry, opakování z letního semestru).
  Různé typy úloh (regrese, binární klasifikace, klasifikace do více tříd, predikce časové řady).
  Techniky pro vyhodnocení kvality modelu a pro zlepšení učení.
  Python a jeho knihovny pro hluboké učení (Keras, Pytorch, TensorFlow). Řešení praktických úloh různého typu.
• 5-7. cvičení 24.10.2024, 31.10.2024, 7.11.2024:
  Konvoluční neuronové sítě. Opakování z LS. Architektura modelu, konvoluce (binární klasifikace obrázků, klasifikace do více tříd). Typické úlohy. Techniky pro zlepšení učení. Hluboké učení a data. Předučení a transfer learning.
  Algoritmy pro učení hlubokých neronových sítí, optimalizace a ladění hyperparametrů. Konvoluční neuronové sítě v Kerasu. Řešení praktických úloh různého typu.
• 8. cvičení 14.11.2024:
  Konvoluční neuronové sítě a řešení dalších typů úloh (např. zpracování signálů, detekce objektů nebo segmentace).
  Řešení praktických úloh různého typu.
• 9-10. cvičení 21.11.2024, 28.11.2024:
  Sekvenční data a modely neuronových sítí vhodné pro jejich pro zpracování (jednodim. konvoluční sítě, GRU, LSTM).
  Praktické příklady.
• 11-12. cvičení 5.12.2024, 12.12.2024:
  Autoenkodery a jejich využití (např. redukce dimenzionality, odstranění šumu, detekce anomálií).
  Praktické příklady.
• Pokud zbyde čas:
  Letmý úvod do pokročilejších modelů hlubokého učení (např. siamese model, generativní modely, transformery)
• 12-13. cvičení 12-17.12.2024:
  Prezentace projektů.

Podmínky pro získání zápočtu

Na záložce Zápočty.

Rozcestník (předměty o strojovém učení)

• 18NES1 Neuronové sítě 1
  • 2. ročník BS, LS, KSI
  • Úvod do umělých neuronových sítí. Důraz na jednoduché modely a jejich pochopení.
• U1USU Úvod do strojového učení
  • 3. ročník BS, ZS, KM
  • Základní modely a metody strojového učení. Digitální zpracování obrazu.
• 18NES2 Neuronové sítě 2
  • 3. ročník BS, ZS, KSI
  • Hluboké neuronové sítě. Důraz na praktické dovednosti.
• 18AAIO Aplikace AI pro zpracování obrazu
  • 2. ročník BS, 2.-6. září 2024, 3 kredity
  • Intenzivní týdenní seminář na pracovišti v Děčíně, 2-3členné pracovní skupiny
  • Ubytování zajištěno, kompenzace cestovních a ubytovacích nákladů
• U1SU2 Strojové učení 2
  • 1. ročník NMS, ZS, KM
  • Pokročilé modely a metody strojového učení. Hluboké neuronové sítě a další modely do hloubky :-).
• 18UIA1 Úvod do pokročilých algoritmů
  • 1. ročník NMS, ZS, KSI
  • Další vybrané metody a algoritmy strojového učení a umělé inteligence. Zaměřeno (nejen) na robotiku.
• 18UIA2 Pokročilé algoritmy 2
  • 1. ročník NMS, LS, KSI
  • Další vybrané metody a algoritmy strojového učení a umělé inteligence. Zaměřeno (nejen) na robotiku.
• 18SC Softcomputing
  • 1. ročník NMS, ZS, KSI
  • Fuzzy systémy a související modely neuronových sítí
• 01AOM Aplikace optimalizačních metod
  • 2. ročník NMS, ZS, KM
  • Více o optimalizačních metodách (nejen) pro hluboké neuronové sítě.
• 01NEUR1 Neuronové sítě a jejich aplikace 1
  • 1. ročník NMS, LS, KM
  • Teoretické aspekty neuronových sítí.
• 01NEUR2 Teoretické základy neuronových sítí
  • 2. ročník NMS, ZS, KM
  • Teoretické aspekty neuronových sítí.

Odkazy

[1] M. Nielson: Neural Networks and Deep Learning, 2019. dostupné online. Github s příklady. Úvod do hlubokého učení - pohled dovnitř.
[2] F. Chollet, M. Watson: Deep Learning with Python, Second Edition, 2021 (Third Edition - 2025). Github s příklady. Existuje i v češtině (Deep learning v jazyku Python). Úvod do hlubokého učení - podrobně.
[3] A. Kapoor , A. Gulli , S. Pal: Deep Learning with TensorFlow and Keras – 3rd edition, 2022. Github s příklady. Pokročilejší metody hlubokého učení.
[4] Oficiální dokumentace Kerasu, řešené příklady: Keras examples
[5] I. Goodfellow, Y. Bengio, A. Courville: Deep Learning, MIT Press, 2016. Klasická učebnice, teoretický pohled.
[6] Kaggle Notebooks. Další inspirace a zdroj příkladů.

Hezké video-kurzy:

[1] "https://www.youtube.com/playlist?list=PL2o3po04f3KZL0xq1PFjn3FUGl-uEiXEn" Video-kurz Františka Voldřicha v českém jazyce vycházející z knihy M. Nielsona.
[2] https://ufal.mff.cuni.cz/courses/npfl138/2324-summer Kurz MFF UK na téma hlubokého učení. Dostupné jsou záznamy přednášek a cvičení (ČJ, AJ), materiály a zadání příkladů.
[3] http://introtodeeplearning.com/ Kurz MIT. Záznamy přednášek.

Vývojové prostředí a hnihovny

• Prostředí Google Colab https://colab.research.google.com
  Výhoda: prostředí podobné JupyterLab, které již znáte, netřeba cokoliv instalovat a konfigurovat, (omezený) přístup ke GPU, integrovaná AI.
  Nevýhoda: je potřeba mít Google účet, být online, službu ,,nemáme pod kontrolou'', jsou zde různá omezení
• Můžete pracovat i na svém počítači ve svém oblíbeném vývojovém prostředí, je třeba nainstalovat potřebné knihovny (Keras, TensorFlow, atd.)
  Někdy se může hodit GPU, ale lze se obejít i bez něj (pro jednodušší úlohy).
• Fakultní JupyterLab?

Programy ze cvičení

Budou k dispozici (aktuálně na GitHubu).

Konzultace v semestru

Konzultace v semestru jsou možné po předchozí domluvě (emailem nebo osobně) ve všední dny v čase 9:00-14:30 mimo výuku a mé další povinnosti. Doporučený čas pro konzultaci je čtvrtek po cvičení. Své dotazy a připomínky mi také můžete psát na email.

Kontakt