Лекция №8 "Архитектуры нейронных сетей"
Восьмое занятие на курсе «Нейронные сети и их применение в научных исследованиях» для восьмого потока обучения. Преподаватель: Виктор Немченко Дата: 28.11.2024 00:00 Заставка 00:38 Базовые компоненты свёрточных сетей 03:42 ImageNet 07:28 Baseline (AlexNet 2012) 15:36 Базовый блок (VGGNet 2014) 18:26 Вычислительные ресурсы 26:13 Inception module (GoogLeNet 2014) 36:06 BatchNorm 36:55 Skip connection (ResNet 2015) 38:29 Архитектура ResNet 39:57 BasicBlock в PyTorch 41:36 Bottleneck layer 42:16 Stage ratio 42:47 Обучение ResNet 44:13 Grouped Convolution 47:33 Grouped Convolution in PyTorch 48:16 ResNeXt 49:21 Обзор сети MobileNet (2017 г.) 52:31 Сравнение моделей 54:14 Много skip connection (DenseNet 2016) 54:52 Ширина вместо глубины (WideResNet 2016) 55:16 Squeeze-and-Excitation (SENet 2017) 56:50 Поиск хорошей архитектуры 57:17 Обзор сети EfficientNet (2019 г.) 59:28 Трансформеры 01:01:24 ConvNext (2022) 01:03:27 Transfer learning 01:07:47 Torch Image Models (timm) 01:11:55 Custom feature extractor 01:14:03 Дистилляция 01:15:44 Soft targets Материалы лекции: Открыть в Colab: https://colab.research.google.com/drive/1dwAwQyQYXc83uqZQcJMlZLht2I4oQZUE Открыть в HTML-формате: https://msu.ai/nn_architectures_notebook_new Сайт: https://msu.ai VK: https://vk.com/msu_ai Telegram: https://t.me/msu_ai_channel #MSU_AI#Фонд_Интеллект
Восьмое занятие на курсе «Нейронные сети и их применение в научных исследованиях» для восьмого потока обучения. Преподаватель: Виктор Немченко Дата: 28.11.2024 00:00 Заставка 00:38 Базовые компоненты свёрточных сетей 03:42 ImageNet 07:28 Baseline (AlexNet 2012) 15:36 Базовый блок (VGGNet 2014) 18:26 Вычислительные ресурсы 26:13 Inception module (GoogLeNet 2014) 36:06 BatchNorm 36:55 Skip connection (ResNet 2015) 38:29 Архитектура ResNet 39:57 BasicBlock в PyTorch 41:36 Bottleneck layer 42:16 Stage ratio 42:47 Обучение ResNet 44:13 Grouped Convolution 47:33 Grouped Convolution in PyTorch 48:16 ResNeXt 49:21 Обзор сети MobileNet (2017 г.) 52:31 Сравнение моделей 54:14 Много skip connection (DenseNet 2016) 54:52 Ширина вместо глубины (WideResNet 2016) 55:16 Squeeze-and-Excitation (SENet 2017) 56:50 Поиск хорошей архитектуры 57:17 Обзор сети EfficientNet (2019 г.) 59:28 Трансформеры 01:01:24 ConvNext (2022) 01:03:27 Transfer learning 01:07:47 Torch Image Models (timm) 01:11:55 Custom feature extractor 01:14:03 Дистилляция 01:15:44 Soft targets Материалы лекции: Открыть в Colab: https://colab.research.google.com/drive/1dwAwQyQYXc83uqZQcJMlZLht2I4oQZUE Открыть в HTML-формате: https://msu.ai/nn_architectures_notebook_new Сайт: https://msu.ai VK: https://vk.com/msu_ai Telegram: https://t.me/msu_ai_channel #MSU_AI#Фонд_Интеллект