В рамках нового курса «Методы разработки программного обеспечения с использованием LLM» студенты погрузятся в практическое применение больших языковых моделей. Курс ведут эксперты из AIRI и ведущих вузов: Никита Глазков (AIRI | МИФИ), Даниил Сухоруков (AIRI | МИФИ) и Илья Макаров (AIRI | ИТМО | МИФИ).

 

Структура и оценивание

Курс сочетает практические работы (ПР), контрольные точки проекта (КП) и контрольные работы (КР). Студенты смогут набрать до 100 баллов, что соответствует оценке «отлично». Для успешного прохождения курса необходимо набрать не менее 60 баллов. Особенностью курса является возможность досрочной защиты командных проектов и автоматического зачета контрольной работы при успешной защите.

 

Командные проекты

Одной из ключевых составляющих курса является командная работа над проектами в группах по 4-5 человек. Темы проектов охватывают широкий спектр актуальных направлений:

 

• EdTech: создание чат-ботов для университетов и репетиторов-агентов.

• Анализ научной литературы: автоматизация литературных обзоров и генерация отчетов.

• Инструменты дизайна: разработка генераторов презентаций.

• Backend-разработка: сервисы для контент-модерации.

• Бизнес и коммерция: генерация описаний товаров и HR-ассистенты.

• Индустрия: работа с технической документацией и рекламными креативами.

 

Работа над проектом будет проходить в несколько этапов: формирование команды, выбор темы, построение дорожной карты, защита идеи [КП1], реализация и промежуточная защита [КП2], и финальная защита [КП3] с презентацией, демонстрацией и отчетом.

 

Технологический фокус: инструменты и инференс

В ходе практических занятий студенты изучат основы работы LLM, включая процесс инференса (загрузка модели, токенизация, генерация текста) и ключевые параметры настройки (temperature, top-k, top-p).

Особое внимание будет уделено современным инструментам для развертывания и использования моделей:

 

• Llama.cpp: для простого и эффективного запуска на CPU и GPU с использованием квантования (GGUF).

• Ollama: удобный инструмент для разработки, работающий по принципу «Docker для моделей».

• Text Generation Inference (TGI от HF): промышленное решение для надежного и масштабируемого развертывания.

• vLLM: высокопроизводительный движок для продакшн-сред с поддержкой OpenAI-совместимого API.

 

Курс также затронет архитектурные основы трансформеров, принципы самовнимания (Self-Attention) и различия между моделями GPT и BERT, что позволит студентам не только использовать, но и глубже понимать работу современных языковых моделей.