Языковые трансформенные модели. NLP [Otus] [Мария Тихонова, Александр Брут-Бруляко, Софья Феничева]

[Dozhd]

Складчина: Языковые трансформенные модели. NLP [Otus] [Мария Тихонова, Александр Брут-Бруляко, Софья Феничева]



Погрузитесь в NLP: освойте различные языковые модели и создайте собственный телеграм-бот.

Для кого этот курс?

Для дата-сайентистов, аналитиков данных и специалистов по машинному обучению.
Необходимые знания:

базовое знакомство с Python
базовые знания линейной алгебры, математического анализа, математической статистики
базовые навыки работы с ML (pandas, sklearn, линейная регрессия, логистическая регрессия)
Что такое Natural Language Processing?

Natural Language Processing (NLP, обработка естественного языка) – это направление, которое объединяет в себе лингвистику, компьютерные науки и искусственный интеллект. NLP применяет алгоритмы машинного обучения для анализа естественных языков, ResNet и EfficientNet, до самых современных Vision Transformers, таких как MViT

Что даст вам этот курс?

Знаний, которые дают ML/DL курсы, часто оказывается недостаточно, чтобы стать специалистом в области NLP. Data Scientist'ам, которые решили заняться методами, связанными с автоматической обработкой текстов, необходимы дополнительные знания из этой области.

Данный курс представляет собой уникальное сочетание глубоких знаний из области NLP и "повседневных" практических навыков. С одной стороны, программа курса по наполненности и изучаемым темам ничуть не уступает аналогичным вузовскими курсам. С другой стороны, в курсе, помимо теоретичечских знаний, особое внимание уделяется практическим навыкам.

После завершения курса вы сможете:

работать с текстовыми данными
парсить, собирать данные с сайтов из интернета
создавать телеграм-ботов
применять методы классического NLP для решения ML задач, связанных с текстами
работать с нейросетевыми моделями архитектуры трансформер
применять модели архитектуры трансформер для широкого спектра NLP задач
решать задачу распознавания именованных сущностей
создавать вопросно-ответные системы
На курсе изучаются современные подходы и модели, которые на данный момент являются стандартом в области, но еще не успели войти в большинство программ, так как были предложены совсем недавно. Стоит отметить, что на курсе делается акцент на особенностях работы с русскоязычными моделями и данными на русском языке.

Проектная работа:

Мы стремимся, чтобы студенты выбирали темы выпускных проектов – сами, а не работали по шаблонным заготовкам. Поэтому все выпускные проекты на курсе– это ценные исследования для ML. Вот темы некоторых из них:

Умный поиск по базе отзывов методами NLP
Поиск по базе фильмов на основе естественного языка
Разработка телеграмм бота клиентской поддержки пользователей пассажирских сервисов
Финтех вопросно-ответная система
Использование NLP моделей для классификации отзывов и определения тональности
Генерация коротких текстов в жанре фэнтези, по заданным параметра (Habr)
RAG-агент для автоматизации инцидент-менеджмента
Программа:

Бонус: Методы машинного обучения

Модуль познакомит вас с различными продвинутыми моделями машинного обучения для задач обучения с учителем (регрессия и классификация), начиная от классических методов деревьев решений и заканчивая продвинутыми методами градиентного бустинга.

Тема 1: Метод градиентного спуска
Тема 2: Повторение основных понятий задачи классификации на практике: EDA, cross-validation, метрики качества
Тема 3: Деревья решений
Тема 4: Ансамбли моделей
Тема 5: Градиентный бустинг
Тема 6: Метод опорных векторов
Бонус: Введение в PyTorch и глубокое обучение

В этом модуле мы коснёмся методов Deep Learning и работы с нейронными сетями. Вы узнаете принципы работы и обучения нейронных сетей, а также освоите нейросетевые архитектуры для работы с изображениями (сверточные нейросети) и последовательностями (рекуррентные нейросети).

Тема 1: Продвинутые методы оптимизации, backpropagation и обучение нейронных сетей
Тема 2: Борьба с переобучение нейросетей, взрыв и затухание градиентов
Тема 3: Сверточные сети (Convolutional Neural Networks)
Бонус: Дополнительные продвинутые занятия

Тема 1: Практическое занятие: теория промптинга LLM
Тема 2: LangChain
Тема 3: RAG - генерация на основе базы знаний
Python для работы с текстами

Вводный модуль, посвященный повторению основных методов работы с данными в Python и работе с текстами. В модуле также рассмотрены методы парсинга данных и методы работы с регулярными выражениями — необходимые навыки в NLP.

Тема 1: Введение в NLP
Тема 2: Recap python/ data analysis/ визуализации
Тема 3: Работа со строками + регулярные выражения
Тема 4: Парсинг данных // ДЗ
Deep Learning для NLP

Вводный модуль по Deep Learning. Данный модуль дает общее представление о нейронных сетях, фокусируясь на методах и архитектурах, востребованных в NLP.

Тема 1: Введение в нейросети
Тема 2: Градиентный спуск и backpropagation
Тема 3: PyTorch. Часть 1 // ДЗ
Тема 4: PyTorch. Часть 2
Тема 5: Рекуррентные сети. Часть 1
Тема 6: Рекуррентные сети. Часть 2
Классичесикие методы NLP

Модуль посвящен традиционным подходам в обработке естественного языка. В нем рассматриваются ключевые этапы предобработки текстовых данных, различные способы представления слов в векторном пространстве, а также классические рекуррентные нейросетевые архитектуры, включая RNN и seq2seq, используемые для задач машинного перевода и генерации текста.

Тема 1: Предобработка данных и векторные представления слов // ДЗ
Тема 2: Понятие языковой модели, RNN для работы с текстом
Тема 3: Машинный перевод и seq2seq
Трансформерные модели

Модуль посвящен современным трансформерным моделям и их применению в NLP. В нем изучаются архитектура Transformer, механизмы transfer learning, модель BERT и работа с предобученными языковыми моделями. Рассматриваются задачи именованного распознавания сущностей (NER), генеративные языковые модели, а также подходы к промптингу и использование LLM в диалоговых системах.

Тема 1: Архитектура Transformer
Тема 2: Transfer learning
Тема 3: Работа с предобученными языковыми моделями. Задача NER
Тема 4: Генеративные языковые модели и энкодер-декодер архитектуры
Тема 5: Towards ChatGPT
Тема 6: Теория промптинга LLM // ДЗ
Тема 7: Q&A
Дополнительные главы NLP

В модуле рассмотрены дополнительные вопросы из области NLP, выходящие за рамки основной программы: распределенные вычисления, вопросы оценки языковых моделей, тематическое моделирование. На практике будет рассмотрено, как создавать телеграмм-ботов и встраивать в них обученные модели.

Тема 1: Оценка LLM // ДЗ
Тема 2: Создание телеграм-бота // ДЗ
Проектный модуль

Проектный модуль, во время которого студенты выполняют финальную работу на основе методов, изученных на курсе.

Тема 1: Выбор темы и организация проектной работы
Тема 2: Предзащита №1
Тема 3: Предзащита №2
Тема 4: Защита проектных работ
Преподаватели:

Мария Тихонова
Лидер Research кластера, Сбер, ВШЭ
Александр Брут-Бруляко
DS инженер (к.э.н.), Сбер GigaLegal
Софья Феничева
Дмитрий Павлов
Антон Витвицкий
(к.ф.-м.н.) Director of Computer Vision, Boost Arria NLG
Алексей Клочков
Data Science Team Lead, Kept
Андрей Коняев
Consultant GenAI Machine Learning Engineering, Deutsche Telekom AG - T-Systems International GmbH
Александр Гавриленко
Инженер-исследователь, АНО "Институт Искусственного Интеллекта" AIRI
Дмитрий Гайнуллин
Machine Learning Engineer, AIC
Алексей Кисляков
(д.э.н., к.т.н.) преподаватель/ученый-исследователь, Российская академия народного хозяйства и государственной службы при Президенте РФ (Владимирский филиал)
Андрей Носов
AI Architect, Raft, PhD Communication Science, Tampere University (Finland)
Эксперты-практики делятся опытом, разбирают кейсы студентов и дают развернутый фидбэк на домашние задания

Цену установит организатор




СКАЧАТЬ

Для просмотра скрытого содержимого вы должны зарегистрироваться