Как снизить затраты на токены AI на 91% с помощью семантического выбора инструментов и Redis

Сокращение затрат на токены LLM на 91% за счет использования семантического выбора инструментов и векторной базы данных Redis, что позволило повысить точность и удобство взаимодействия.

Зачем это нужно

Статья описывает проблему экспоненциального роста затрат на использование LLM (например, Claude) в корпоративных AI-платформах, где каждая пользовательская задача отправляет в модель определения всех доступных инструментов (в данном случае более 70), даже если для её решения требуется всего несколько. Это приводит к перерасходу токенов, увеличению времени ответа и снижению удобства использования из-за большого количества нерелевантных предложений инструментов.

Что происходит

Традиционные методы выбора инструментов, основанные на ключевых словах и категориях, оказываются неэффективными в сложных корпоративных средах из-за нескольких проблем:

Несовпадение словаря: Пользователи используют естественный язык, а инструменты имеют технические названия.
Контекстная зависимость: Одна и та же фраза может иметь разный смысл в зависимости от контекста.
Проблемы масштабирования: Ручная категоризация становится невозможной при большом количестве инструментов.
Высокая стоимость токенов: Отправка нерелевантных инструментов в LLM напрямую влияет на стоимость API.

Как использовать

Предлагается решение – система семантического выбора инструментов, которая анализирует инструменты с 4 различных точек зрения:

Описание инструмента (вес 50%) – что делает инструмент.
Параметры (вес 25%) – какие входные данные принимает инструмент.
Примеры использования (вес 15%) – как обычно используется инструмент.
Типы возвращаемых значений (вес 10%) – что производит инструмент.

Каждый компонент представляется в виде векторного embedding с использованием OpenAI’s text-embedding-3-small model. Redis используется в качестве векторной базы данных для хранения этих embedding.

Пример структуры данных для инструмента (Slack messaging tool):


tool_embedding = {
    "description": "Send messages to Slack channels using webhooks",
    "parameters": [
        {"name": "channel_id", "description": "Target Slack channel identifier"},
        {"name": "message", "description": "Message content to send"},
        {"name": "webhook_url", "description": "Slack webhook endpoint"}
    ],
    "examples": [
        "send_slack_message(channel_id='#engineering', message='Deployment complete')",
        "Notify team about critical system updates via Slack"
    ],
    "returns": "Message delivery confirmation with timestamp"
}

При получении запроса пользователя, система генерирует embedding для запроса и вычисляет релевантность каждого инструмента, используя взвешенную сумму косинусных сходств между embedding запроса и embedding компонентов инструмента. При этом учитываются веса каждого компонента (описание, параметры, примеры использования, возвращаемые значения).

Пример алгоритма расчета релевантности:


def calculate_relevance_score(query_embedding, tool_embeddings):
    scores = {}
    
    # Weighted semantic matching
    scores['tool'] = cosine_similarity(query_embedding, tool_embeddings.description) * 0.50
    scores['parameters'] = max(cosine_similarity(query_embedding, param) for param in tool_embeddings.parameters) * 0.25
    scores['examples'] = max(cosine_similarity(query_embedding, example) for example in tool_embeddings.examples) * 0.15
    scores['returns'] = cosine_similarity(query_embedding, tool_embeddings.returns) * 0.10
    
    return sum(scores.values())

Результаты и ограничения

В результате применения данной системы удалось сократить потребление токенов на 91%, при этом повысив точность выбора инструментов и улучшив пользовательский опыт. Использование Redis в качестве векторной базы данных обеспечивает быстрое и эффективное хранение и поиск embedding.

Практический вывод: для снижения затрат на LLM в корпоративных AI-платформах необходимо использовать семантический выбор инструментов, основанный на многокомпонентных embedding и векторной базе данных. Это позволяет учитывать контекст запроса пользователя, семантическое значение инструментов и их параметров, что приводит к более точному выбору инструментов и значительному снижению затрат на токены.

Источник: https://mlops.community/how-i-reduced-ai-token-costs-by-91-with-semantic-tool-selection-and-redis/

Как снизить затраты на токены AI на 91% с помощью семантического выбора инструментов и Redis

Похожие статьи

Поделиться в соц. сетях

Комментарии