Использование публичных API (OpenAI, Anthropic) в финтехе недопустимо из-за рисков утечки банковской тайны и персональных данных. Единственный легитимный путь внедрения генеративного ИИ — развертывание Open Source моделей (LLaMA 3, Mixtral) на собственных мощностях (On-premise).

Технические вызовы:

Ресурсоемкость: Стандартные веса моделей требуют значительного объема VRAM, что экономически нецелесообразно для масштабирования.
Контекстная безопасность: Модель не должна галлюцинировать, выдумывая банковские продукты, которых нет.

Реализация: Мы использовали подход RAG (Retrieval-Augmented Generation). Векторная база данных (Weaviate), развернутая локально, индексирует внутреннюю базу знаний банка. При запросе сотрудника LLM получает релевантный контекст и генерирует ответ строго на его основе.

Оптимизация инференса: Для запуска на доступном оборудовании (NVIDIA A100/H100) была применена квантование весов (Quantization) до 4-бит без существенной потери качества генерации. В качестве движка инференса использован vLLM, что обеспечило высокий пропускную способность (throughput) при одновременных запросах.

Итог: Создан внутренний AI-ассистент, помогающий сотрудникам ориентироваться в регламентах и продуктах. Данные не покидают периметр банка. Система соответствует требованиям службы информационной безопасности.

Развертывание локальной LLM в контуре банка: решение проблем безопасности и производительности

Похожие статьи

Поделиться в соц. сетях

Комментарии