Тема
Тема
Чотирнадцять лекцій — від прямої, проведеної через хмару точок, до трансформера й дифузійної моделі. Кожен метод проходить один і той самий шлях: задача → інтуїція → схема → математика → приклад на реальних даних → код → результат → обмеження. Дані справжні: California Housing, Breast Cancer, Iris, Wine, Titanic, MNIST.
Kirill Riazanovskiy, PhD
Що таке навчання з даних, як влаштована найпростіша модель і чому вона перестає працювати на нових даних.
Від імовірності класу до межі рішень: логістична регресія, дерева, ансамблі та опорні вектори.
Структура в даних без міток: групування об’єктів і стиснення ознакового простору.
Зворотне поширення, згортки для зображень і механізм уваги, на якому стоять сучасні моделі.
Як модель вчиться корисним поданням без міток і як вона починає породжувати нові дані.
Структура і послідовність тем спираються на курс EPFL CS-433 Machine Learning. Педагогічні приклади й теми, яких немає в EPFL, узято з UBC CPSC 340/540, глибша математика — зі Stanford CS229. Схеми глибокого навчання — з Dive into Deep Learning та Stanford CS231n.
Там, де жодне з цих джерел не покриває тему, курс спирається на оригінальні статті: Breiman (Random Forests, 2001), Friedman (Gradient Boosting, 2001), Arthur & Vassilvitskii (k-means++, 2007), Ester та ін. (DBSCAN, 1996), He та ін. (ResNet, 2016), Ioffe & Szegedy (Batch Normalization, 2015), Vaswani та ін. (Attention Is All You Need, 2017), Chen та ін. (SimCLR, 2020), Kingma & Welling (VAE, 2014), Goodfellow та ін. (GAN, 2014), Ho та ін. (DDPM, 2020).
Повний перелік із посиланнями — в останньому розділі кожної лекції.