Анализ тональности финансовых новостей DeBERTa

Описание модели

Эта модель представляет собой тонко настроенную версию модели microsoft/deberta-v3-small, предназначенную для анализа тональности в финансовых новостях. Она определяет, является ли текст позитивным, негативным или нейтральным.

DeBERTa улучшает модели BERT и RoBERTa, используя разделенное внимание и улучшенный маскированный декодер. DeBERTa V3 дополнительно повышает эффективность DeBERTa, используя предварительное обучение в стиле ELECTRA с разделяемым внедрением градиента. Модель DeBERTa V3 small имеет шесть слоев и скрытый размер 768, а также 44 миллиона параметров основной структуры и словарь, содержащий 128 тысяч токенов, что добавляет 98 миллионов параметров в слой Embedding. Модель обучена с использованием 160 ГБ данных, как и DeBERTa V2.

Как обучена модель

Модель была обучена на наборе данных, состоящем из 4840 предложений из англоязычных финансовых новостей, категоризированных по тональности. Датасет разделен по степени согласованности 5-8 аннотаторов.

Гиперпараметры обучения:

Скорость обучения: 2e-05

Размер пакета обучения: 64

Размер пакета оценки: 64

Начальное значение: 42

Оптимизатор: Adam с бета-версиями (0.9,0.999) и эпсилон 1e-08

Тип планировщика скорости обучения: линейный

Количество эпох: 5

Применение

Модель может быть использована для автоматического анализа тональности финансовых новостей, что позволит оперативно отслеживать настроения рынка, оценивать реакцию на экономические события и принимать обоснованные инвестиционные решения.

Пример использования:

Метрики

Метрика Значение F1 0.9940 Точность 0.9940 Precision 0.9940 Recall 0.9940 Loss 0.0233

Ссылки

mrm8488/deberta-v3-ft-financial-news-sentiment-analysis

Ссылки

https://https://huggingface.co/mrm8488/deberta-v3-ft-financial-news-sentiment-analysis