Интеллектуальный AI-тьютор для СПО

📚 Интеллектуальный AI-тьютор для СПО — Обучающий датасет

🤖 Специализированный корпус учебных текстов для дообучения языковой модели в области среднего профессионального образования

📋 Содержание

• 📌 Общие сведения

• 🗂️ Структура датасета

• ⚙️ Методология сбора и подготовки

• 📄 Формат данных

• 📊 Статистика и распределение

• 📚 Дисциплины и темы

• ✅ Контроль качества

• 🚀 Использование

1. Общие сведения

Данный датасет разработан в рамках проекта «Интеллектуальный AI-тьютор для СПО» для дообучения языковой модели Mistral Small 24B-Instruct-2501 по методу QLoRA 4-bit. Корпус содержит учебные материалы специальности 15.02.14 «Оснащение средств автоматизации» ГБПОУ РО «Сальский индустриальный техникум» (СИТ) и охватывает две ключевые дисциплины учебного плана.

Цель датасета — научить модель генерировать структурированные учебные материалы: конспекты лекций, тесты для самопроверки, объяснения терминов и поддерживать диалоговый режим с обучающимся. Все тексты подготовлены на русском языке и отражают реальную учебную программу СПО.

2. Структура датасета

📐 Разбиение на выборки

3. Методология сбора и подготовки

Процесс подготовки датасета включает несколько этапов, обеспечивающих высокое качество обучающих данных:

• Сбор исходных материалов — лекции в формате Markdown, подготовленные преподавателями СИТ по утверждённым рабочим программам дисциплин. Источники: 27 лекций по «Измерительным системам» и 40 лекций по «Промышленной автоматизации»

• Нормализация текстов — очистка от форматирования, унификация терминологии, приведение к единому структурированному формату. Скрипт: dataset/normalize.py

• Генерация обучающих пар — из каждой лекции формируется набор instruction–input–output пар различных типов. Скрипт: dataset/prepare_dataset.py

• Валидация — автоматическая проверка корректности JSON-схемы, полноты полей, отсутствия дубликатов. Скрипт: dataset/validate.py

• Очистка данных — удаление некорректных записей, проверка длины токенов. Скрипт: dataset/clean_data.py

• Разбиение на выборки — стратифицированное разделение 80:10:10 по типу задания (seed = 42). Скрипт: dataset/split_dataset.py

4. Формат данных

Каждая запись в датасете представлена в формате JSONL (один JSON-объект на строку) со следующей схемой:

{

 "instruction": "Тип задачи",

 "input": "Текст лекции или фрагмент для обработки",

 "output": "Ожидаемый результат от модели"

}

Типы заданий (10 типов):

5. Статистика и распределение

6. Дисциплины и темы

📏 Измерительные системы (27 лекций)

Фундаментальные основы метрологии и измерительных технологий:

• Введение в измерительные системы

• Погрешности измерений

• Метрологические характеристики средств измерений

• Измерительные преобразователи: общие принципы

• Мостовые измерительные схемы

• Усилители и измерительные преобразователи сигналов

• Аналого-цифровые и цифро-аналоговые преобразователи

• Измерение температуры, давления, расхода, уровня и вязкости

• Цифровые измерительные приборы

• Интеллектуальные датчики

• Измерительные каналы и системы

• Интерфейсы измерительных систем

• Электрические измерения

• Виброизмерения и акустические измерения

• Оптические и лазерные измерения

• Экологический мониторинг и анализаторы газа

• Поверка и калибровка средств измерений

• Обработка результатов измерений

• Машинное зрение

• IoT в измерениях

• Нано- и микросенсоры

• Беспроводные датчики

• Измерения пищевой промышленности

⚙️ Промышленная автоматизация (40 лекций)

Практические аспекты автоматизации промышленных процессов:

• Введение в автоматизацию

• Классификация систем автоматизации

• Датчики и измерительные преобразователи (давления, расхода, температуры, уровня)

• Исполнительные механизмы

• Программируемые логические контроллеры (ПЛК)

• Языки программирования ПЛК

• ПИД-регулирование

• Настройка ПИД-регуляторов

• SCADA-системы

• Архитектура SCADA

• АСУ ТП: принципы

• Электропривод

• Пневматика и гидравлика

• Промышленные сети и протоколы

• OPC-технологии

• HMI (человеко-машинный интерфейс)

• Монтаж систем автоматизации

• Эксплуатация и техобслуживание

• Безопасность и охрана труда

• Функциональная безопасность и SIL

• Кибербезопасность АСУ ТП

• Распределённые системы управления (DCS)

• Цифровые двойники

• Промышленная робототехника

• Проектирование систем автоматизации

• Наладка и диагностика

• Автоматизация водоочистки

• Управление вентиляцией

• Автоматизация складов

• Теплоэнергетические процессы

• Автоматизация пищевой промышленности

• Современные тенденции Индустрии 4.0

7. Контроль качества

Для обеспечения достоверности обучающих данных применяется многоуровневая система валидации:

• Автоматическая валидация — скрипт dataset/validate.py проверяет соответствие каждой записи JSON-схеме, обязательность полей instruction, input, output, а также отсутствие пустых значений

• Анализ баланса — скрипт analyze_balance.py контролирует равномерность распределения записей по дисциплинам, типам заданий и выборкам

• Проверка аннотаций — скрипт scripts/validate_annotations.py выявляет семантические ошибки и несоответствия в обучающих парах

• Чеклист качества — подробный чеклист в dataset/CHECKLIST.md для ручной верификации ключевых аспектов датасета

8. Использование

📥 Загрузка данных

Датасет поставляется в четырёх файлах JSONL: dataset_raw.jsonl (771 запись, исходный корпус), train.jsonl (613), val.jsonl (73), test.jsonl (85).

🔧 Дообучение модели

Рекомендуемый пайплайн дообучения с данным датасетом:

1. Загрузить датасет через библиотеку Hugging Face datasets

2. Применить QLoRA-конфигурацию: 4-bit NF4 квантизация, Double Quantization, target modules: q/k/v/o/gate/up/down_proj

3. Запустить трёхстадийное обучение: debug (r=4, 1 epoch) → light (r=8, 2 epochs) → full (r=32, 3 epochs)

4. Оценить качество на test-выборке (85 записей)

🔗 Связанные ресурсы

👥 Авторы: Команда — ГБПОУ РО «Сальский индустриальный техникум» (СИТ) Бардаков Д.Н.
📜 Лицензия: Apache 2.0 | 🌐 Язык: Русский | 📅 Год: 2026