7 февраля начнутся занятия курса Deep Learning in Natural Language Processing, организованного проектом iPavlov (Лаборатория нейронных сетей и глубокого обучения МФТИ) и Школой анализа данных Яндекса. Занятия будут проходить на территории ШАД по адресу: Москва, улица Тимура Фрунзе, дом 11к2 по четвергам и субботам.

Курс предназначен для желающих познакомиться с нейросетевыми методами обработки языка. В основе программы лежит аналогичный курс Стэнфордского университета.

Занятия организованы в формате «inverse classroom». Участников ждут онлайн-лекции, по которым нужно будет выполнять домашние задания и писать тесты, работа над собственными проектами, семинары, на которых будут обсуждаться теория и разбираться проекты, и практических воркшопов, которые помогут лучше понять материал и приобрести конкретные навыки применения нейросетей.

Ведут курс сотрудники лаборатории Владислав Лялин и Алексей Сорокин. Семинары будут проходить на русском языке, лекции — на английском. Лучшие участники будут приглашены на стажировку в лабораторию.

Темы занятий: 

1. Intro to natural language processing, word embeddings (Word2vec, GloVe, FastText); 
2. Intro to language modelling, fully-connected neural networks, backpropagation;
3. Embeddings workshop; 
4. Practical tips: gradient checks, overfitting, regularization, activation functions and optimization; 
5. Backpropagation workshop; 
6. Recurrent neural networks, GRU, LSTM; 
7. Transfer learning in NLP (ELMo, ULMfit); 
8. Language modelling workshop; 
9. Neural machine translation, attention; 
10. Transformer networks; 
11. Convolutional neural networks for text classification; 
12. Pre-training of Deep Bidirectional Transformers for Language Understanding;
13. Classification workshop.

Принять участие могут студенты Физтеха и все, кто знаком с глубоким обучением и обработкой естественного языка. Для записи на курс необходимо заполнить форму.

Актуальная информация и подробная программа публикуются в Телеграм-канале. Записи семинаров будут доступны на Youtube-канале лаборатории.