Механистическая интерпретируемость: как понять, о чем думает LLM

О чем этот урок:

Сегодня у нас довольно неожиданная и во многом передовая (R&D) тема. Мы знаем, как построить архитектуру трансформера и как его обучить, но знаете ли вы, что происходит с математическими векторами (эмбеддингами) внутри сети, пока они летят от первого слоя к последнему? Цель этого урока — познакомить вас с областью механистической интерпретируемости (Mechanistic Interpretability). Это своего рода нейробиология, но для искусственных мозгов.

Мы обсудим, какими инструментами исследователи из Anthropic, OpenAI и других лабораторий пытаются "препарировать" языковые модели. Вы увидите, что внутри сложной матрицы скрываются конкретные "нейроны", отвечающие за грамматику, упоминания конкретных людей или даже за концепцию "завтрака". Урок будет полезен тем, кто хочет понимать уязвимости ИИ и причины, по которым модели иногда ведут себя непредсказуемо.

Основные темы и рассматриваемые вопросы:

• Что такое механистическая интерпретируемость (Mechanistic Interpretability): почему мы пытаемся применять методы реверс-инжиниринга к нейросетям и как анализируются активации отдельных нейронов.

• Пробинг (Probing) и поиск моносемантических нейронов: как выяснить, с какого слоя модель начинает понимать, на каком языке написан текст, и почему один-единственный нейрон может отвечать только за французский язык.

• Логит-линза (Logit Lens): метод заглядывания в промежуточные слои трансформера. Как понять, на какое слово намекает модель в самой середине процесса генерации ответа.

• Интерпретация механизма внимания и полносвязных слоев: декомпозиция матриц, как разные "головы" внимания берут на себя разные роли (переносчик имени, блокировщик повторений) и как FFN-слой редактирует первоначальный смысл эмбеддинга.

• Разреженные автоэнкодеры (Sparse Autoencoders): как "магически" разжать плотный и непонятный вектор модели в огромный разреженный вектор, в котором каждый параметр будет отвечать за одну понятную человеку мысль.

• Методы "вмешательства" (Interventions) и патчинг: что будет, если прямо во время работы нейросети подменить данные в конкретном слое или отключить кусок математики ("найти и сломать"), и как это помогает понять логику ИИ.

• Почему это сложно: главные ловушки, от отсутствия универсальности методов между разными версиями моделей до чисто человеческого фактора (субъективности оценки исследователя).