Малые языковые модели (SLM): полный процесс создания и…

SLM Engineering — практический курс по созданию малых языковых моделей (Small Language Models, SLM) корпоративного уровня. За четыре недели вы пройдете полный цикл разработки: от подготовки данных и обучения токенизатора до предварительного обучения (Pretraining), Fine-Tuning, RLHF, реализации RAG, оптимизации инференса и развертывания модели в локальной инфраструктуре предприятия. Курс ориентирован на разработчиков и ML-инженеров, желающих самостоятельно создавать, обучать и внедрять современные AI-системы без зависимости от облачных сервисов.

Для кого предназначен курс

• Разработчиков, переходящих в сферу LLM Engineering, NLP и Enterprise AI.
• Инженеров, создающих чат-ботов, интеллектуальный поиск и системы анализа документов.
• Специалистов, которые хотят научиться самостоятельно обучать языковые модели, а не только использовать готовые API.
• Исследователей, которым необходимы практические навыки промышленной разработки AI.

Чему вы научитесь

Архитектура Transformer

Подробно изучите внутреннее устройство современных языковых моделей: механизм внимания (Attention), Feed Forward-блоки, RMSNorm, Rotary Positional Encoding, эмбеддинги и взаимодействие всех компонентов архитектуры Transformer.

Подготовка данных и обучение токенизатора

Научитесь собирать, очищать и дедуплицировать датасеты, формировать корпуса данных, обучать собственные токенизаторы на основе BPE и SentencePiece, а также готовить данные для предварительного обучения и последующей настройки моделей.

Предварительное обучение (Pretraining)

Построите полноценный цикл обучения языковой модели с нуля, познакомитесь с законами масштабирования (Scaling Laws), научитесь анализировать функции потерь и оценивать эффективность процесса обучения.

Fine-Tuning с LoRA и QLoRA

Освоите современные методы параметроэффективной настройки моделей, включая LoRA, QLoRA, Supervised Fine-Tuning и 4-битную квантизацию. Узнаете, в каких случаях лучше использовать дообучение модели, а когда предпочтительнее применять RAG или инженерный подход к проектированию промптов.

Выравнивание моделей и безопасность

Изучите методы Reward Modeling, DPO и RLHF, научитесь реализовывать защиту от Prompt Injection, механизмы безопасных отказов, модерацию ответов и другие элементы безопасной эксплуатации языковых моделей.

RAG и оценка качества моделей

Создадите полноценную систему Retrieval-Augmented Generation с гибридным поиском, ранжированием результатов, ссылками на источники и использованием подходов LLM-as-a-Judge и Golden Sets для оценки качества моделей.

Инференс и оптимизация производительности

Разберетесь с особенностями работы этапов Prefill и Decode, использованием KV Cache, квантизацией моделей, Continuous Batching, Paged Attention и развертыванием высокопроизводительных серверов инференса на базе vLLM и llama.cpp.

Развертывание в продакшене

Научитесь создавать API для языковых моделей, организовывать потоковую обработку запросов, внедрять мониторинг, отслеживание деградации качества моделей, Canary-развертывания и автоматический цикл повторного обучения.

Полный цикл разработки SLM

Во время обучения вы реализуете полный производственный конвейер создания корпоративной языковой модели:

• сбор и подготовка данных;
• обучение токенизатора;
• создание эмбеддингов;
• обучение Transformer-модели;
• предварительное обучение;
• Fine-Tuning и RLHF;
• реализация RAG;
• оптимизация инференса;
• развертывание модели в корпоративной инфраструктуре.

Практический итоговый проект

Финальной работой станет разработка корпоративного помощника для анализа юридических договоров. Вы создадите собственную малую языковую модель, которая сможет автоматически извлекать и классифицировать положения договоров, обнаруживать персональные данные и конфиденциальную информацию, выполнять поиск по документам с точными ссылками на соответствующие разделы и работать полностью локально без передачи данных в облачные сервисы.

Результаты обучения

После завершения курса вы сможете самостоятельно проектировать, обучать, оптимизировать и внедрять Small Language Models (SLM) корпоративного уровня. Вы получите практический опыт работы с Transformer, LoRA, QLoRA, RLHF, RAG, vLLM, llama.cpp, промышленными AI-конвейерами и современными инструментами разработки LLM, а также пополните портфолио полноценным проектом, готовым к использованию в реальных корпоративных сценариях.