Инференс через интерфейс: как запускать модели без кода

1. Каталог моделей: как ориентироваться

Когда вы заходите в Qubu, первое, что видите — это каталог доступных моделей. Как в них не запутаться?

Классификация моделей по задачам:

Как выбрать модель под задачу:

1. Задача: «Нужно генерировать ответы в чат-поддержке»
   → Выбираем языковую модель (Llama 3, Mistral) среднего размера (7B-13B)

2. Задача: «Нужно анализировать тональность отзывов»
   → Выбираем модель для классификации (на базе BERT)

3. Задача: «Нужно генерировать картинки для соцсетей»
   → Выбираем генеративную модель (Stable Diffusion)

2. Запуск инференса: пошаговая инструкция

Шаг 1. Выберите модель

В каталоге найдите нужную модель. Нажмите «Запустить» или «Подробнее».

Шаг 2. Настройте параметры инференса

Шаг 3. Введите запрос

В поле ввода напишите, что хотите получить от модели.

Шаг 4. Нажмите «Запустить»

Модель начнёт обработку. Время зависит от размера модели и сложности запроса (от 1 до 30 секунд).

Шаг 5. Посмотрите результат

Результат появится в окне вывода. Его можно скопировать, скачать или отправить дальше.

3. Пример 1: Генерация письма клиенту

Модель: Llama 3 (8B)
Температура: 0.5
System prompt: «Ты — менеджер по продажам в компании Qubu. Ты помогаешь клиентам с вопросами по API. Отвечай вежливо и профессионально.»

User prompt:

Напиши письмо клиенту, который спрашивает, как подключиться к нашему API.

Клиент: Иван Иванов, компания «Ромашка».
Он уже зарегистрировался, но не может найти API-ключ.

Письмо должно быть:
- Дружелюбным
- Содержать ссылку на инструкцию (qubu.ai/docs/api-key)
- Предлагать помощь, если не получится

Результат (пример):

Тема: Ваш API-ключ Qubu — инструкция по подключению

Уважаемый Иван!

Спасибо, что выбрали Qubu. Вы уже зарегистрированы — это половина дела!

Ваш API-ключ находится в личном кабинете, в разделе «Настройки» → «API-ключи». Если вы его не видите, возможно, нужно создать новый — нажмите кнопку «Сгенерировать ключ».

Подробная инструкция с картинками: qubu.ai/docs/api-key

Если что-то пойдёт не так — просто ответьте на это письмо, я подключу техподдержку.

С уважением,
Менеджер Qubu

4. Пример 2: Анализ тональности отзыва

Модель: BERT для классификации (модель из каталога Qubu)
Задача: Определить, позитивный, негативный или нейтральный отзыв

Вход:

Отзыв: «Сайт работает быстро, API отличный, но документация могла бы быть подробнее. В целом — 4 из 5.»

Результат:

Тональность: ПОЗИТИВНАЯ (уверенность 78%)
Негативные аспекты: документация (уверенность 65%)

5. Пример 3: Генерация изображения

Модель: Stable Diffusion (из каталога Qubu)
Параметры: Размер 1024×1024, 20 шагов

Prompt:

Логотип для AI-платформы Qubu. Абстрактная сеть, соединяющая точки, 
сине-фиолетовые тона, минимализм, современный.

Результат: (изображение)

6. Сохранение и экспорт результатов

После того как инференс выполнен, результат можно:

Итог урока: Веб-интерфейс Qubu позволяет запускать любые модели без единой строки кода. Это идеально для тестирования, прототипирования и для бизнес-пользователей, которые не программируют.