YandexGPT-5-Lite-8B-instruct

Обучена на базе YandexGPT 5 Lite Pretrain, без использования весов каких-либо сторонних моделей. Алайнмент Lite-версии совпадает с алайнментом YandexGPT 5 Pro и состоит из этапов SFT и RLHF (более подробно о них — в статье на Хабре).

Задавайте вопросы в discussions.

Бенчмарки

По результатам международных бенчмарков и их адаптаций для русского языка, YandexGPT 5 Lite вплотную приблизилась к аналогам (Llama-3.1-8B-instruct и Qwen-2.5-7B-instruct) и превосходит их в ряде сценариев, в том числе — в знании русской культуры и фактов.

MMLU — 5-shot, все остальные бенчмарки — 0-shot.

Особенности токенизации

Для полного соответствия токенизации мы рекомендуем пользоваться оригинальным sentencepiece — файл токенизатора лежит в папке original_tokenizer. В нашей инфраструктуре каждую реплику диалога мы токенизируем отдельно.

Из-за этого, в частности, появляется пробел в начале каждой реплики. Также \n токены мы заменяем на [NL], это можно сделать с помощью text.replace("\n", "[NL]") перед токенизацией.

Особенности шаблона

Мы используем нестандартный шаблон диалога — модель обучена генерировать только одну реплику после последовательности Ассистент:[SEP], завершая её токеном </s>. При этом диалог в промпте может быть любой длины.

Это приводит к тому, что в интерактивном режиме модель может выдавать результаты, отличающиеся от вызова модели в режиме генерации на фиксированном диалоге. Поэтому мы рекомендуем использовать интерактивный режим только для ознакомления с моделью.