85% пользователей Claude итеративно работают с AI, но артефакты снижают критическое мышление на треть

Пользователи, которые итеративно дорабатывают результаты в диалоге с AI, демонстрируют в 2 раза больше признаков AI-грамотности, чем те, кто принимает первый ответ, — но при создании кода и документов вероятность проверки фактов падает на 3,7 процентных пункта.

Anthropic измерила AI-грамотность через 9830 реальных диалогов

Anthropic провела исследование AI-грамотности пользователей на основе анализа 9830 диалогов с Claude на платформе Claude.ai в течение 7 дней января 2026 года. Для измерения использовался AI Fluency Framework — методология профессоров Рика Дакана и Джозефа Феллера, выделяющая 24 поведенческих индикатора эффективной работы с AI. Из них 11 индикаторов можно отследить непосредственно в диалогах (остальные 13, включая честность о роли AI в работе, происходят вне интерфейса). Исследование проводилось с применением инструмента анализа, сохраняющего приватность данных.

Итеративная работа удваивает количество признаков AI-грамотности

85,7% диалогов демонстрируют итерацию и доработку — пользователи не принимают первый ответ, а развивают его в диалоге
Диалоги с итерацией показывают в среднем 2,67 дополнительных признаков AI-грамотности против 1,33 в неитеративных диалогах — рост в 2 раза
При итеративной работе пользователи в 5,6 раза чаще проверяют рассуждения модели и в 4 раза чаще выявляют недостающий контекст
12,3% диалогов включают создание артефактов (код, документы, интерактивные инструменты)
При создании артефактов пользователи на 14,7 п.п. чаще уточняют цель, на 14,5 п.п. чаще задают формат и на 13,4 п.п. чаще предоставляют примеры
Но те же пользователи на 5,2 п.п. реже выявляют недостающий контекст, на 3,7 п.п. реже проверяют факты и на 3,1 п.п. реже запрашивают объяснение логики модели
Наиболее распространённый паттерн использования AI — augmentative (AI как партнёр по размышлению), а не делегирование всей работы целиком

Полированные артефакты подавляют критическое мышление

Ключевое противоречие исследования: при создании кода и документов пользователи становятся более директивными (чётче формулируют задачу, задают формат, приводят примеры), но одновременно менее критичными. Все три индикатора проверки и оценки (выявление пропусков контекста, fact-checking, запрос объяснений) падают. Возможное объяснение — полированный, функциональный вид артефактов создаёт ложное ощущение надёжности. Это особенно тревожно, учитывая данные Economic Index Anthropic: именно на самых сложных задачах Claude допускает больше всего ошибок. Параллель просматривается с недавним исследованием Anthropic о coding skills, где также фиксировалось снижение критичности при работе с кодом.

Что это значит для CTO и ML-команд

Внедряя AI-инструменты, закладывайте в онбординг практику итеративной работы — это удваивает эффективность использования. Для задач с артефактами (code review, генерация документации, создание прототипов) вводите обязательные чек-листы проверки: fact-checking, запрос обоснования решений модели, выявление пропущенного контекста. Особенно критично для инфраструктурного кода и архитектурных решений. Рассмотрите A/B-тестирование разных prompt-стратегий: гипотеза — явное требование объяснить reasoning на каждом шаге может компенсировать эффект «полированного артефакта». Отслеживайте метрики AI-грамотности команды: Anthropic создала базовый индекс, который можно адаптировать для внутреннего мониторинга. Учитывайте, что 13 из 24 индикаторов AI-грамотности (включая самые важные — честность о роли AI, оценка последствий) не видны в логах — их нужно оценивать через интервью и code review.

Источник: Anthropic AI Fluency Index

85% пользователей Claude итеративно работают с AI, но артефакты снижают критическое мышление на треть

Похожие статьи

Поделиться в соц. сетях

Комментарии