Fine-tuning Llama 3 на своих данных

Пошаговое руководство по подготовке данных, выбору архитектуры дообучения и запуску fine tuning Llama 3 на реальных задачах. Приведены команды, оценки стоимости и примеры кода для 2025–2026 годов.

Когда нужен fine-tuning?

Если базовая модель Llama 3 отвечает слишком обобщённо, даёт ошибки в терминах вашей предметной области или не умеет следовать фирменному тону, потребуется fine tuning. Когда модель даёт более 10% неверных фактов на тестовой выборке из 1 000 примеров или систематически неправильно распознаёт формат входных данных, дообучение — оправданное решение.

Fine tuning актуален, когда вы хотите: улучшить точность в узкой предметной области (медицина, право, финансы), внедрить фирменный стиль ответа, добавить специфические инструкции или обеспечить обработку приватных данных локально; примеры успешного дообучения по одному набору задач показывают прирост F1 на 15–30% при 10k—50k пар «вопрос—ответ».

Шаг 1: подготовка датасета

Качество датасета — 70% успеха. Для Llama 3 оптимально готовить датасет в формате JSONL или Parquet с явными полями: prompt, response, role, metadata. Цель: 5 000—50 000 пар для LoRA; 100k+ пар или 10–100 GiB токенов для full fine-tuning. Для примера возьмём задачу: кастомные ответы техподдержки для SaaS-продукта, 15 000 аннотированных диалогов, средняя длина ответа 120 токенов.

1.1 Структура и примеры

Рекомендуемый минимальный JSONL-шаблон (каждая строка — независимый экземпляр):

{"id": "0001", "prompt": "Пользователь: Как сбросить пароль?", "response": "Инструкция: введите email на странице /reset...", "meta": {"intent":"password_reset","source":"чат-лог-2025-11\