Uczenie maszynowe
wykład: środy, 13:15--15:00, C-19/A.0.8;
uwaga: wykład z 24 I został przełożony na 30 I, 11:15--13, w sali A.1.3. Nie będzie to jednak zwykły wykład,
tylko kolokwium (obiecana lista metod), za to normalny wykład będzie 31 I.
Jeśli komuś 30 I nie pasuje, nie szkodzi, można będzie zdać kolokwium w późniejszym terminie.
laboratorium: dr Karol Szczypkowski, środy, 18:55--20:35, C-19/A.0.6.
Materiały
- Można obejrzeć przynajmniej pierwsze dwa filmy z Neural networks by 3blue1brown.
- Spora część wykładu będzie wg książki An Introduction to Statistical Learning, Gareth James, Daniela Witten, Trevor Hastie, Robert Tibshirani, Jonathan Taylor, dostępnej za darmo w formie pdf.
- 11 X: bias-variance tradeoff: notebook, html; numpy broadcasting
- 25 X:
propagacja wsteczna: rachunki (źródło);
rachunki dla sieci 2x2.
Sieć 2-2: notebook, html - 22 XI: sieci splotowe: prezentacja i kod (autor obu: dr Kamil Bogus)
- 29 XI: ImageNet classification with deep convolutional neural networks, artykuł o AlexNet
- 6 XII:
DarkForest, program grający w Go, używający CNN;
wątek o czysto splotowej sieci (Detlef Schmicker);
Batch Normalization, notebook (html). - 12 XII (wtorek!): ResNet, SqueezeNet, GoogLeNet (inception), Rethinking Inception, MobileNets.
- 13 XII: Chess Programming Wiki: MiniMax, Alfa-Beta
- 20 XII:
przykładowe funkcje oceniające pozycje z Crafty,
Stockfish ;),
chess.com i fen:
2N5/7k/3p1rpp/2b5/8/1B6/P4QPP/6K1 w - - 0 1
-- efekt horyzontu i sposoby przeciwdziałania, Zobrist hashing, tablice Nalimowa, np. strona i FEN:5kn1/8/3R4/5n2/8/8/2K1B3/8 w - - 0 1
- 10 I: strona domowa Pachi, praca magisterska Petra Baudisa, MCTS w Sensei's library
- 17 I: LSTM i GRU, encoder-decoder, GloVe, przykładowy program do zabawy z GloVe i wynik, Man is to..., Attention
- 30 I: kolokwium
- 31 I: Attention is All You Need and the annotated version
Zadania
Zadanie 1
regresja liniowa (0,5 punktu) oraz Ridge (metoda iteracyjna: 0,5 punktu).
Zadanie 2
zaimplementować sieć neuronową z dwoma (lub więcej, jeśli ktoś chce) gęstymi warstwami.
Użyć jej np. do rozpoznawania ręcznie pisanych cyfr z bazy MNIST.
Poeksperymentować z parametrami, które można zmieniać, np. wziąć różne wielkości pierwszej warstwy.
(Zależnie od implementacji, można mieć tu mniej lub więcej możliwości, np. może da się dodać trzecią warstwę, a może nie).
Propozycje implementacyjne: wygodnym podstawowym bytem jest Warstwa, która powinna mieć możliwość propagacji w przód (mając dane wejściowe)
oraz w tył (mając błędy z kolejnej warstwy, uaktualnia wagi i zwraca błędy dla następnej warstwy; dobrze jakoś pamiętać obliczenia wykonane w czasie propagacji w przód).
W prostszej (ale wystarczającej) wersji, możemy dawać Warstwie pojedynczy wektor wejściowy, wtedy da się naturalnie zaimplementować 'online learning'.
Dla implementacji 'batch learning' lepiej, żeby Warstwa mogła dostać wektor wektorów wejściowych, czyli macierz.
Kolejny byt, Sieć, może wtedy składać się z wielu Warstw, i mieć metody 'fit' i 'predict'.
Baza z ręcznie pisanymi cyframi:
można użyć plików mnist_loader.py oraz mnist.pkl.gz z tego
repozytorium. Proszę przeczytać dokumentację w pliku mnist_loader.py, żeby się dowiedzieć, jak (łatwo) się tego używa.
Zadanie 3
Poeksperymentować z sieciami splotowymi, np. przy użyciu biblioteki Keras lub PyTorch.
Zasady zaliczania
- Będzie co najmniej 5 zadań na laboratoria, każde za 0-1 punkt.
Spóźnienie w oddawaniu powoduje przemnożenie oceny za zadanie przez współcznnik określony przez prowadzącego laboratorium.
Każde zadanie należy wysłac emailem oraz przedyskutować na laboratorium. Wcześniejsza z tych czynności liczy się jako moment oddania zadania.
Na laboratoria trzeba przyjść, aby zaprezentować rozwiązania. Poza tym obecność nie jest obowiązkowa. Zawsze można też wyjść przed końcem zajęć, bez pytania. Zachęcam jednak do obecności, szczególnie, jeśli mają Państwo wątpliwości lub pytania związanie z zadaniami. - Na ostatnich zajęciach będzie kolokwium (=rozmowa, pojedynczo z każdym). Przed kolokwium otrzymają Państwo listę metod (omówionych na wykładzie), których znajomość obowiązuje na kolokwium. Student zaznacza, które metody umie omówić. Następnie otrzymuje pytania tylko z zaznaczonych przez siebie metod i za odpowiedzi otrzymuję ocenę p w skali 0-1; liczba punktów z kolokwium to p*(0,2 + (liczba zaznaczonych metod / liczba wszystkich metod)). Jeśli okaże się, że któraś z metod została zaznaczona nieuczciwie, to student otrzymuje 0 punktów z kolokwium i ocenę ndst.
- Do otrzymania oceny pozytywnej potrzeba i wystarcza: zdobyć co najmniej 2,5 punktu, w tym przynajmniej 0,5 z kolokwium. Minimalne progi z kolokwium na kolejne oceny (od dst do bdb) to: 0,5; 0,575; 0,65; 0,725; 0,8, a minimalne łączne liczby punktów: 2,5; 3,25; 3,75; 4,25; 4.75. Czyli np. aby otrzymać 4+, wystarczy zdobyc co najmniej 4,25 punktu łącznie, w tym co najmniej 0,725 z kolokwium.