Как работает AI-ассистент: архитектура и компоненты

Введение

Чтобы эффективно использовать AI-ассистента, не обязательно быть программистом. Но понимать, как он работает «под капотом» — необходимо. Это поможет вам правильно настраивать промпты, диагностировать проблемы и понимать ограничения технологии.

Основная архитектура AI-ассистента

Представьте AI-ассистента как ресторан с тремя ключевыми ролями:

Компонент 1. LLM — большая языковая модель

LLM (Large Language Model) — это нейронная сеть, обученная на огромном количестве текстов (книги, статьи, сайты, диалоги). В процессе обучения модель научилась предсказывать следующее слово в предложении, а значит — понимать язык и генерировать связные ответы.

Какие LLM можно использовать для AI-ассистента

Для большинства бизнес-задач достаточно GPT-3.5 Turbo или YandexGPT — они быстрые, недорогие и хорошо понимают русский язык.

Компонент 2. Промпт (инструкция)

Промпт — это текст, который говорит модели, кем она должна работать и как отвечать. Это самый важный элемент управления AI-ассистентом.

Структура хорошего промпта

Ты — [роль]. Работаешь в [компания/сфера].
Твоя задача — [что делать].
Правила:
1. [правило 1]
2. [правило 2]
3. [правило 3]

Формат ответа: [как отвечать]
Пример диалога:
[пример]

Пример промпта для AI-ассистента интернет-магазина:

text

Ты — профессиональный консультант интернет-магазина «ТехноМир».
Твоя задача — помогать клиентам выбирать технику, отвечать на вопросы о товарах, доставке и оплате.

Правила:
1. Всегда отвечай вежливо и дружелюбно.
2. Не выдумывай информацию о товарах. Если не знаешь — скажи «Нужно уточнить у менеджера».
3. Не обещай скидки, если их нет в информации.
4. В конце диалога всегда спрашивай, чем ещё помочь.

Формат ответа: кратко, по делу, без лишних эмодзи.

Пример диалога:
Клиент: Здравствуйте, телефон Samsung A54 есть?
Ассистент: Здравствуйте! Да, Samsung A54 есть в наличии в чёрном и белом цвете. Цена 29 990₽. Показать характеристики?

Компонент 3. Контекст диалога

AI-ассистент не помнит предыдущие разговоры «от природы». Ему нужно каждый раз передавать историю сообщений.

Как это работает:

text

Сообщение 1: Клиент: «Здравствуйте»
Сообщение 2: Ассистент: «Здравствуйте! Чем помочь?»
Сообщение 3: Клиент: «Какие ноутбуки есть до 50 тысяч?»
Сообщение 4: Ассистент: «У нас есть ...»

При запросе к LLM отправляются ВСЕ предыдущие сообщения + промпт.

Ограничение: контекстное окно

У каждой LLM есть максимальный объём текста, который она может «помнить». Это называется контекстным окном и измеряется в токенах.

Что такое токен

Токен — это кусочек текста. Для русского языка:

• 1 токен ≈ 0.7–0.8 слова

• Слово «привет» = 1 токен

• Слово «здравствуйте» = 3 токена (здрав-ствуй-те)

• Фраза «сегодня хорошая погода» = 4–5 токенов

Компонент 4. Температура (Temperature)

Температура — это настройка «креативности» модели. Чем выше температура, тем более разнообразные и неожиданные ответы генерирует AI.

Рекомендация: для AI-ассистента в продажах ставьте температуру 0.2–0.4. Модель будет отвечать предсказуемо и надёжно.

Компонент 5. Системный промпт vs Пользовательский промпт

В API OpenAI и других платформах есть два типа промптов:

System prompt передаётся один раз в начале диалога. User prompt — каждое новое сообщение клиента.

Полный цикл работы AI-ассистента

1. Клиент пишет сообщение
         ↓
2. Система добавляет к сообщению системный промпт
         ↓
3. Система добавляет историю предыдущих сообщений (контекст)
         ↓
4. Всё это отправляется в LLM (OpenAI API, YandexGPT и т.д.)
         ↓
5. LLM генерирует ответ на основе промпта и контекста
         ↓
6. Ответ возвращается клиенту
         ↓
7. Ответ сохраняется в историю диалога
         ↓
(Переход к шагу 1 при следующем сообщении клиента)

Практический пример: как выглядит запрос к LLM

Системный промпт (один раз):

Ты — консультант магазина обуви. Отвечай кратко и вежливо.

История диалога (сохраняется):

Клиент: Здравствуйте
Ассистент: Здравствуйте! Чем могу помочь?
Клиент: Есть кроссовки Nike 44 размера?
Ассистент: Да, есть модели AirMax и Revolution. Какую цену рассматриваете?

Новое сообщение клиента:

Клиент: До 7000 рублей

Что отправляется в LLM:

[Системный промпт]
Ты — консультант магазина обуви. Отвечай кратко и вежливо.

[История диалога]
Клиент: Здравствуйте
Ассистент: Здравствуйте! Чем могу помочь?
Клиент: Есть кроссовки Nike 44 размера?
Ассистент: Да, есть модели AirMax и Revolution. Какую цену рассматриваете?

[Текущее сообщение]
Клиент: До 7000 рублей

Ответ LLM:

В этом бюджете подходят Nike Revolution 6 — 6490₽, размер 44 есть в наличии в синем и чёрном цветах. Показать?

Почему AI-ассистент иногда «галлюцинирует»

Галлюцинация — это когда AI уверенно говорит неправду (например, называет цену, которой нет, или придумывает несуществующую модель товара).

Причины галлюцинаций:

1. Модель обучена всегда давать ответ (даже если не знает)

2. В промпте нет запрета на выдумывание

3. Модель путает информацию из обучения с актуальными данными

Как бороться с галлюцинациями:

Резюме урока

AI-ассистент состоит из:

• LLM — «мозг», который генерирует ответы

• Промпта — инструкция, которая задаёт поведение

• Контекста — история диалога для связности

• Температуры — настройка креативности

Понимание этих компонентов позволит вам настраивать AI-ассистента под свои задачи и избегать типичных проблем.

Контрольные вопросы

1. Что такое LLM и какие популярные модели существуют?

2. Из каких частей состоит хороший промпт?

3. Что такое контекстное окно и почему оно важно?

4. Какая температура подходит для продающего AI-ассистента?

5. Почему AI галлюцинирует и как с этим бороться?