$60 млн за посты в Reddit: почему данные для обучения LLM закончились быстрее чем GPU

Илья Суцкевер публично предупредил: следующее плато в развитии LLM случится не из-за нехватки GPU, а из-за отсутствия качественных данных. Лучшая часть публичного интернета уже скормлена моделям, и теперь Google платит Reddit $60 млн в год за доступ к постам, а Маск закрыл API Twitter для всех кроме Grok.

Что уже съедено

Феномен «стены данных» (data wall) описал Антон Пчелинцев, эксперт онлайн-магистратур Центра «Пуск» МФТИ. Публикация вышла 30 марта 2025 года на Хабре — вот что уже использовано для обучения:

Книги из Library Genesis и Sci-Hub
Википедия на всех языках
Архивы крупнейших медиа
Stack Overflow и Reddit целиком
Публичные git-репозитории с GitHub

Осталось то, что никто не хочет: SEO-помойки, дубли, спам и тексты, сгенерированные другими моделями.

Ключевые примеры дефицита

Компания	Действие	Цена вопроса
Google	Лицензирование пользовательского контента Reddit	$60 млн/год
Twitter (X)	Закрыл публичный API — данные только для Grok	Монополия на данные
The New York Times	Подала в суд на OpenAI за использование архивов	Судебный процесс
Stack Overflow	Ограничения на скрейпинг + переговоры с AI-компаниями	Лицензирование

FTC начала расследование практик лицензирования данных между Big Tech и AI-компаниями. Данные стали стратегическим активом.

Почему «больше GPU» перестало работать

Индустрия привыкла к простой магии scaling laws: больше параметров + больше compute = лучшая модель. Это работало с GPT-2 до GPT-4, с BERT до современных энкодеров. Но scaling laws сломались:

Вычисления — это вопрос денег. Можно купить H100, арендовать кластер, договориться с облачным провайдером.

Данные — это вопрос юридического доступа, качества и уникальности. Нельзя просто «купить ещё данных» — их физически нет или они закрыты.

Низкокачественные данные добавляют шум: модель начинает генерировать противоречия, галлюцинации, копировать паттерны спама. Высококачественные данные человеческого происхождения (связные тексты, экспертные материалы, инструкции с разметкой) оказались ограниченным ресурсом.

Model collapse: когда ИИ ест ИИ

Появился новый риск — model collapse. Схема простая:

LLM генерирует текст
Этот текст публикуется в интернете
Следующая модель обучается на нём
С каждым поколением такой инбридинг усиливает ошибки и артефакты
Модель деградирует

Это как ксерокопия ксерокопии — каждое поколение теряет качество. Синтетические данные могут дать краткосрочный буст, но без валидации на реальных примерах ведут к коллапсу.

Где следующая волна данных

Текстовый интернет исчерпан. Следующий виток — не GPU-кластеры, а реальность:

Датчики и телеметрия: автомобили, роботы, IoT-устройства генерируют массивы данных о физическом мире
Симуляции: физические движки, синтетические сенсоры, виртуальные среды
Корпоративные данные: логи, транзакции, внутренние процессы — закрытые, но ценные
Мультимодальность: видео, аудио, тактильные данные — там, где текста мало или нет вообще

Tesla, Boston Dynamics, Figure AI владеют массивами данных о физическом мире, которые недоступны через скрейпинг. Это новая нефть.

Данные как бизнес-актив

Если доступ к контенту усиливает модель, этот контент превращается в актив — его защищают, продают, лицензируют и ограничивают. Это не конец открытого интернета — это взросление рынка.

Примерно как переход музыки из Napster и torrents в Spotify и Apple Music. Контент стал бизнес-активом с измеримой стоимостью. Только теперь вместо песен — посты в Reddit и коммиты в GitHub.

Что делать CTO и ML-командам

Стратегия «накупим GPU и обучим свою модель на Common Crawl» больше не работает. Пересматривайте приоритеты:

1. Инвестируйте в лицензирование данных
Партнёрства с владельцами контента, закрытыми платформами, отраслевыми источниками. Закладывайте бюджет не только на compute, но и на доступ к данным. Reddit берёт $60 млн в год — это новая реальность.

2. Стройте собственные системы сбора
Датчики, телеметрия, наблюдения реального мира. Если у вас есть продукт с пользователями — это золотая жила. Каждый клик, каждая транзакция, каждый сенсор — потенциальный датасет.

3. Качество важнее количества
Усильте процессы очистки и валидации. Один качественный датасет лучше десяти зашумлённых. Model collapse начинается с плохих данных.

4. Осторожно с синтетикой
Генерация данных другими моделями может дать краткосрочный буст, но риск model collapse высок. Используйте только с валидацией на реальных примерах.

5. Юридическое сопровождение
Если скрейпите, fine-tune на чужих данных, используете API — проверьте ToS. FTC уже расследует, The New York Times уже подала в суд. Судебные риски реальны.

Формула успеха сместилась: раньше это были параметры и FLOPS, теперь — доступ к уникальным качественным данным + инфраструктура для их обработки.

Источник: Хабр

$60 млн за посты в Reddit: почему данные для обучения LLM закончились быстрее чем GPU

Похожие статьи

Поделиться в соц. сетях

Комментарии