Лекция №10 "Трансформеры"
Десятое занятие на курсе «Нейронные сети и их применение в научных исследованиях» для восьмого потока обучения. Преподаватель: Артем Васильев Дата: 11.12.2024 00:00 Заставка 00:44 Классический seq2seq 02:32 Cross-Attention 05:35 RNN + Cross-Attention 17:34 Разновидности функций сходства 29:34 Self-Attention 33:01 Архитектура сети Transformer 35:13 Кодировщик 50:35 Подготовка данных 53:13 Hugging Face 01:08:22 BERT 01:33:32 Декодировщик 01:38:05 GPT 01:42:17 Методы Генерации текста 01:51:27 Файнтюнинг 01:57:30 Большие языковые модели (LLM) 01:58:04 LLaMA 02:06:04 LoRa 02:09:46 NLP метрики 02:10:42 BERTScore 02:13:27 Self Attention (ViT 2020) Материалы лекции: Открыть в Colab: https://colab.research.google.com/drive/1HzZCBM8iCSRU5fr-h-tLpCqXSzRMZVEz#scrollTo=dw4c5ssg67MR Открыть в HTML-формате: https://msu.ai/transformers_notebook_new Сайт: https://msu.ai VK: https://vk.com/msu_ai Telegram: https://t.me/msu_ai_channel Лекция на Rutube: https://rutube.ru/video/e43159ccaf15570159bf2667355ffacf/?r=wd Лекция в VK видео: https://vk.com/video-204135333_456239595 #MSU_AI#Фонд_Интеллект
Десятое занятие на курсе «Нейронные сети и их применение в научных исследованиях» для восьмого потока обучения. Преподаватель: Артем Васильев Дата: 11.12.2024 00:00 Заставка 00:44 Классический seq2seq 02:32 Cross-Attention 05:35 RNN + Cross-Attention 17:34 Разновидности функций сходства 29:34 Self-Attention 33:01 Архитектура сети Transformer 35:13 Кодировщик 50:35 Подготовка данных 53:13 Hugging Face 01:08:22 BERT 01:33:32 Декодировщик 01:38:05 GPT 01:42:17 Методы Генерации текста 01:51:27 Файнтюнинг 01:57:30 Большие языковые модели (LLM) 01:58:04 LLaMA 02:06:04 LoRa 02:09:46 NLP метрики 02:10:42 BERTScore 02:13:27 Self Attention (ViT 2020) Материалы лекции: Открыть в Colab: https://colab.research.google.com/drive/1HzZCBM8iCSRU5fr-h-tLpCqXSzRMZVEz#scrollTo=dw4c5ssg67MR Открыть в HTML-формате: https://msu.ai/transformers_notebook_new Сайт: https://msu.ai VK: https://vk.com/msu_ai Telegram: https://t.me/msu_ai_channel Лекция на Rutube: https://rutube.ru/video/e43159ccaf15570159bf2667355ffacf/?r=wd Лекция в VK видео: https://vk.com/video-204135333_456239595 #MSU_AI#Фонд_Интеллект