Классификатор тикетов поддержки

Описание модели

Эта модель выполняет тонкую настройку модели DistilBERT base uncased для классификации тикетов в службу поддержки клиентов по четырем категориям. Она достигает

94,85% accuracy

на оценочном датасете.

Детали модели

Описание модели

Эта модель предназначена для автоматической категоризации тикетов в службу поддержки клиентов на основе их содержания. Она может классифицировать тикеты по следующим категориям:

: Вопросы, связанные с выставлением счетов, платежами, подписками и т.д.

: Предложения по новым функциям или улучшениям

: Общие вопросы о продуктах или услугах

: Технические проблемы, баги, ошибки и т.д.

В качестве базовой архитектуры модель использует DistilBERT - дистиллированную версию BERT, которая меньше, быстрее и эффективнее, сохраняя при этом хорошую производительность.

Разработчик: Dragneel

Тип модели: Text Classification

Язык(и): Английский

Лицензия: Apache 2.0

Дообучена на модели: distilbert/distilbert-base-uncased

Прямое использование

• Эта модель может быть непосредственно использована для:

• Автоматизированная маршрутизация и приоритизация тикетов

• Оптимизация рабочего процесса поддержки клиентов

• Аналитика категорий тикетов

• Классификация тикетов в режиме реального времени

Использование вне области применения

• Эта модель не должна использоваться для:

• Обработка конфиденциальной информации о клиентах без надлежащих мер по обеспечению конфиденциальности

• Принятие окончательных решений без проверки человеком в сложных или критических ситуациях

• Классификация тикетов на языках, отличных от английского

• Категоризация контента за пределами домена поддержки клиентов

Предвзятость, риски и ограничения

• Модель была обучена на определенном датасете и может плохо обобщаться на существенно отличные контексты поддержки клиентов.

• Производительность может ухудшиться для очень технических или специфических для домена тикетов, не представленных в обучающих данных.

• Очень короткие или неоднозначные тикеты могут быть неправильно классифицированы.

Рекомендации

Пользователи должны проверять классификации на точность, особенно для тикетов, которые находятся на границе между категориями. Рассмотрите возможность переобучения модели на специфических для домена данных, если используете ее в специализированной отрасли.

Как начать работу с моделью

Используйте код ниже, чтобы начать работу с моделью.

Сопоставление ID c label

Детали обучения

Обучающие данные

Модель была обучена на датасете тикетов в службу поддержки клиентов, который включает в себя разнообразные примеры по всем четырем категориям. Каждый тикет обычно содержит заголовок и описание, детализирующие проблему или запрос клиента.

Процедура обучения

Стандартные параметры обучения

Оценка

Тестирование данных, факторы и метрики

Метрики

• Модель оценивается с использованием следующих метрик:

• Accuracy: Процент правильно классифицированных тикетов

• Loss: Cross-entropy loss на оценочном датасете

Результаты

• Модель достигла следующих метрик на оценочном датасете:

• Метрика Значение Accuracy 94.85% Loss 0.248 Runtime 16.01s Samples/second 23.05

Технические характеристики

Архитектура модели и цель

Архитектура модели основана на DistilBERT, дистиллированной версии BERT. Она состоит из базовой модели DistilBERT со слоем классификационной головы сверху. Модель была тонко настроена с использованием cross-entropy loss для предсказания правильной категории для каждого тикета.

Контактная информация

• По вопросам, касающимся этой модели, пожалуйста, откройте issue в репозитории модели.

• Источник: https://huggingface.co/Dragneel/ticket-classification-v1