Neuronové sítě 1

• Domů
• O předmětu
• Zápočty
• Poznámky z přednášek a cvičení

O kurzu

• Tento kurz představuje naprostý úvod do světa umělých neuronových sítí.
• Seznámíme se postupně se základními modely neuronových sítí: jeden neuron, modely s jednou vrstvou neuronů, modely s více vrstvami neuronů (vícevrstvý perceptron, konvoluční neuronová síť).
• Naším cílem bude pochopit, jak umělé neuronové sítě fungují uvnitř, jak se chovají v různých situacích a proč a jak je správně aplikovat na řešení různých typů úloh.

Předpokládaný obsah přednášek a cvičení

1. Úvod do strojového učení a umělých neuronových sítí. Historie, biologická motivace.
2. Umělý neuron
   • Perceptron se skokovou přenosovou funkcí: Popis modelu, prahový obvod a realizace logických funkcí. Lineární separabilita. Algoritmy učení pro perceptron. Příklady.
   • Lineární neuron: Popis modelu, algoritmy učení, lineární neuronová síť, souvislost modelu s lineární regresí, lineární klasifikace. Příklady.
   • Neurony se spojitou přenosovou funkcí Popis modelu, algoritmy učení. Příklady.
3. Perceptronová síť s jednou vrstvou neuronů. Popis modelu, algoritmy učení, maticová reprezentace. Příklady.
4. Vícevrstvá perceptronová síť. Popis modelu, přenosové funkce, typy úloh, trénovací data, algoritmus zpětného šíření. Varianty, analýza, praktické aplikace, úskalí. Příklady.
5. Samoorganizace: Shluková analýza, samoorganizující se umělé neuronové sítě, Kohonenovy mapy, hybridní modely.
6. Úvod do hlubokých neuronových sítí
7. Konvoluční neuronové sítě. Architektura, typy vrstev, učení, praktické příklady.
8. Prezentace studentských projektů.

Podmínky pro získání zápočtu

Na záložce Zápočty.

Rozcestník (předměty o strojovém učení)

• 18NES1 Neuronové sítě 1
  • 2. ročník BS, LS, KSI
  • Úvod do umělých neuronových sítí. Důraz na jednoduché modely a jejich pochopení.
• 18AAIO Aplikace AI pro zpracování obrazu
  • 2. ročník BS, 2.-6. září 2024 (letošní termín zatím neznám), 3 kredity
  • Intenzivní týdenní seminář na pracovišti v Děčíně, 2-3členné pracovní skupiny
  • Ubytování zajištěno, kompenzace cestovních a ubytovacích nákladů
• 18NES2 Neuronové sítě 2
  • 3. ročník BS, ZS, KSI
  • Hluboké neuronové sítě. Důraz na praktické dovednosti.
• U1USU Úvod do strojového učení
  • 3. ročník BS, ZS, KM
  • Základní modely a metody strojového učení. Digitální zpracování obrazu.
• U1SU2 Strojové učení 2
  • 1. ročník NMS, ZS, KM
  • Pokročilé modely a metody strojového učení. Hluboké neuronové sítě a další modely do hloubky :-).
• 18UIA1 Úvod do pokročilých algoritmů
  • 1. ročník NMS (ale lze i BS), ZS, KSI
  • Další vybrané metody a algoritmy strojového učení a umělé inteligence. Zaměřeno (nejen) na robotiku.
• 18UIA2 Pokročilé algoritmy 2
  • 1. ročník NMS (ale lze i BS), LS, KSI
  • Další vybrané metody a algoritmy strojového učení a umělé inteligence. Zaměřeno (nejen) na robotiku.
• 18SC Softcomputing
  • 1. ročník NMS, ZS, KSI
  • Fuzzy systémy a související modely neuronových sítí
• 01AOM Aplikace optimalizačních metod
  • 2. ročník NMS, ZS, KM
  • Více o optimalizačních metodách (nejen) pro hluboké neuronové sítě.
• 01NEUR1 Neuronové sítě a jejich aplikace 1
  • 1. ročník NMS, LS, KM
  • Teoretické aspekty neuronových sítí.
• 01NEUR2 Teoretické základy neuronových sítí
  • 2. ročník NMS, ZS, KM
  • Teoretické aspekty neuronových sítí.

Odkazy

Klasická literatura

[1] L.V. Fausett: Fundamentals of Neural Networks: Architectures, Algorithms and Applications, Prentice Hall, New Jersey, 1994.
[2] S. Haykin: Neural Networks, Macmillan, New York, 1994.
[3] R. Rojas: Neural Networks: A Systematic Introduction, Springer-Verlag, Berlin, 1996

Modernější literatura

[1] M. Nielson: Neural Networks and Deep Learning, 2019. dostupné online. Github s příklady. Úvod do hlubokého učení - pohled dovnitř.
[2] F. Chollet, M. Watson: Deep Learning with Python, Second Edition, 2021 (Third Edition - 2025). Github s příklady. Existuje i v češtině (Deep learning v jazyku Python). Úvod do hlubokého učení - podrobně.
[3] A. Kapoor , A. Gulli , S. Pal: Deep Learning with TensorFlow and Keras – 3rd edition, 2022. Github s příklady. Pokročilejší metody hlubokého učení.
[4] Oficiální dokumentace Kerasu, řešené příklady: Keras examples
[5] I. Goodfellow, Y. Bengio, A. Courville: Deep Learning, MIT Press, 2016. Klasická učebnice, teoretický pohled.
[6] Kaggle Notebooks. Další inspirace a zdroj příkladů.

Česká literatura (spíše již zastaralá)

[1] M. Šnorek: Neuronové sítě a neuropočítače, ČVUT, Praha, 2002.
[1] E. Volná, Neuronové sítě 1, Ostrava, 2008 
[3] J. Šíma, R. Neruda: Teoretické otázky neuronových sítí, Matfyzpress, Praha, 1996.

Hezké video-kurzy:

[1] "https://www.youtube.com/playlist?list=PL2o3po04f3KZL0xq1PFjn3FUGl-uEiXEn" Video-kurz Františka Voldřicha v českém jazyce vycházející z knihy M. Nielsona.
[2] https://ufal.mff.cuni.cz/courses/npfl138/2324-summer Kurz MFF UK na téma hlubokého učení. Dostupné jsou záznamy přednášek a cvičení (ČJ, AJ), materiály a zadání příkladů.
[3] http://introtodeeplearning.com/ Kurz MIT. Záznamy přednášek.

Vývojové prostředí a hnihovny

• Prostředí Google Colab https://colab.research.google.com
  Výhoda: prostředí podobné JupyterLab, které již znáte, netřeba cokoliv instalovat a konfigurovat, (omezený) přístup ke GPU, integrovaná AI.
  Nevýhoda: je potřeba mít Google účet, být online, službu ,,nemáme pod kontrolou'', jsou zde různá omezení
• Můžete pracovat i na svém počítači ve svém oblíbeném vývojovém prostředí, v průběhu semestru bude třeba nainstalovat potřebné knihovny (Keras, TensorFlow, atd.)
  Někdy se může hodit GPU, ale lze se obejít i bez něj (pro jednodušší úlohy).
• Fakultní JupyterLab?

Programy ze cvičení

Budou k dispozici (aktuálně na GitHubu).

Konzultace v semestru

Konzultace v semestru jsou možné po předchozí domluvě (emailem nebo osobně) ve všední dny v čase 9:00-14:30 mimo výuku a mé další povinnosti. Doporučený čas pro konzultaci je bezprestředně po přednášce/cvičení. Své dotazy a připomínky mi také můžete psát na email. Při komunikaci emailem prosím do předmětu zprávy přidejte text "NES1".

Kontakt