Урок 7. Публикация и монетизация: Деплой на Qubu Models

Мы прошли долгий путь. У вас на диске лежит файл model-q4_k_m.gguf или папка с весами. Но пока этот файл лежит у вас локально — это просто набор цифр. Чтобы он стал активом, приносящим репутацию или токены, его нужно опубликовать.

В финальном уроке мы разберем, как правильно оформить модель, чтобы её скачивали, как не получить судебный иск от Meta и как использовать экосистему Qubu для дистрибуции.

1. Model Card: Паспорт вашей нейросети

Модель без документации — это черный ящик, который никто не будет использовать. В сообществе ML принято создавать Model Card (обычно это файл README.md).

Обязательные разделы:

1. Base Model: На основе чего учили? (Например, Meta-Llama-3-8B-Instruct).

2. Dataset Info: На чем учили? (Не обязательно выкладывать сам датасет, но опишите его: «1000 диалогов технической поддержки провайдера»).

3. Prompt Template: Критически важно! Пользователь должен знать, в каком формате подавать текст.

   • Если вы учили через ChatML: <|im_start|>user...

   • Если через Alpaca: ### Instruction:...

   • Если вы не укажете шаблон, модель будет выдавать бред, а пользователи поставят дизлайк.

4. Parameters: С какими параметрами запускать? (Temperature, Top-P).

Пример идеальной карточки (Markdown):

Markdown

# Legal-Llama-3-8B-v1

Дообученная версия Llama 3 для составления договоров по ГК РФ.
Предназначена для юристов и риелторов.

## Как использовать (GGUF)
Модель требует формат ChatML.

**System Prompt:** Ты профессиональный юрист. Отвечай строго по законодательству РФ.

**User:** Составь пункт договора об ответственности сторон при аренде квартиры.

## Обучение
- **Метод:** QLoRA (4-bit), Rank 32.
- **Данные:** 5000 реальных договоров (анонимизированных).
- **Loss:** 0.85 (на валидации).

## Лицензия
Base model: Llama 3 Community License.
Weights: CC-BY-NC (Только некоммерческое использование).

2. Юридические тонкости (Licensing)

Вы дообучили Open Source модель. Значит ли это, что она теперь ваша? И да, и нет.

• Llama 3 (Meta): Лицензия разрешает коммерческое использование, если у вас (или вашей компании) меньше 700 млн активных пользователей в месяц. Вы обязаны указывать "Built with Llama" в начале описания.

• Mistral (Apache 2.0): Почти полная свобода. Можно закрывать веса, продавать, встраивать.

• Ваши данные: Если в датасете были персональные данные (ФИО клиентов, телефоны) — не выкладывайте модель публично. Нейросети могут «запоминать» куски тренировочных данных и выдать их по запросу.

  • Решение: Используйте приватные репозитории на Qubu или проведите тщательную очистку данных (PII Scrubbing) до обучения.

3. Публикация на Qubu Models

Платформа Qubu позволяет не только хранить модели, но и зарабатывать на них.

Алгоритм публикации:

1. Перейдите в раздел «Модели» -> «Добавить модель».

2. Загрузка файлов: Загрузите ваш .gguf файл и config.json (если есть).

3. Gradio-демо: В Qubu есть встроенная поддержка Gradio. Вы можете написать простой скрипт (или использовать шаблон платформы), чтобы пользователи могли протестировать вашу модель прямо в браузере, не скачивая её.

   • Это повышает конверсию в скачивание/покупку на 300%.

4. Монетизация:

   • Бесплатно: Для набора репутации и звезд (XP).

   • Платно (за токены): Если модель решает узкую бизнес-задачу (например, «Генератор SEO-статей для Wildberries»).

   • Приватный доступ: Вы можете дать доступ только конкретным заказчикам (через раздел «Интеграторы»).

4. Жизненный цикл: Версионирование и Data Flywheel

Публикация v1.0 — это только начало. Как только модель пойдет в продакшен, вы увидите кейсы, где она ошибается.

Стратегия Data Flywheel (Маховик данных):

1. Пользователи используют модель v1.0.

2. Вы логируете их промпты и (желательно) исправления ответов.

3. Вы добавляете эти сложные случаи в датасет.

4. Запускаете Fine-tuning (начиная с чекпоинта v1.0 или с нуля).

5. Выпускаете v1.1.

Это единственный способ сделать модель уровня Enterprise.

Задание (Финальное)

1. Составьте текстовое описание (Model Card) для вашей модели из прошлого урока. Обязательно укажите шаблон промпта.

2. (Симуляция) Представьте, что вы выкладываете модель на маркетплейс. Какую цену в токенах вы бы поставили? Обоснуйте цену (затраты на обучение + уникальность данных).

3. Напишите дисклеймер, снимающий с вас ответственность за «юридические галлюцинации» модели.

Подведение итогов курса

Поздравляю, коллега. Вы прошли путь от «зачем мне это, есть же ChatGPT» до собственной модели, работающей на вашем железе.

Что у вас есть сейчас:

1. Навык стратега: Вы знаете, когда учить, а когда использовать RAG.

2. Навык инженера данных: Вы умеете генерировать и чистить датасеты.

3. Навык ML-Ops: Вы умеете считать VRAM, использовать QLoRA и квантовать модели.

Рынок кастомных LLM только зарождается. Компании боятся отдавать данные в облака OpenAI. Вы — тот специалист, который может принести им «мозги» на защищенный локальный сервер.