GPU Nvidia H100 по $45 000 и данные закончатся к 2026: CB Insights о том, как GenAI выживает в инфраструктурном кризисе

На вторичном рынке GPU Nvidia H100 продают за $45 000 — в 15 раз дороже средней цены. Качественные текстовые данные для обучения моделей закончатся уже к 2026 году. А энергопотребление чипов сравнится с годовым потреблением Грузии.

Кто и как исследовал

CB Insights опубликовали отчет «Gen AI Predictions 2024» в начале года. Фокус — инфраструктурные ограничения: дефицит GPU, истощение данных, энергопотребление ЦОД. Прогнозы охватывают ближайшие 2-3 года.

Ключевые цифры инфраструктурного коллапса

$45 000 за GPU Nvidia H100 на eBay — превышение средней цены продажи в 15 раз
13 797 ГВт·ч электроэнергии в год потребуют чипы Nvidia H100 — как годовое энергопотребление Грузии, Гватемалы или Коста-Рики
К 2026 году качественные текстовые данные для обучения моделей могут исчерпаться
300 кВт на секцию — мощность специализированных ЦОД для ИИ, которые строит DigitalBridge
30 млн скачиваний модели Llama-2 от Meta только за декабрь 2023
$250 млн инвестировали Chevron и Google в Commonwealth Fusion Systems для развития ядерного синтеза как источника энергии для ИИ

Как индустрия решает проблему

Три направления адаптации:

Синтетические данные вместо реальных. Языковые модели Beluga 1 и 2 успешно обучены на данных, сгенерированных GPT. Это позволило обойти предвзятости реальных датасетов и снизить зависимость от качественных размеченных данных.

Миниатюризация моделей. Gemini Nano с 1,8 млрд параметров (против 175 млрд у GPT-3.5) показывает сопоставимые результаты в узких задачах. Компания Zeta использует малые языковые модели для обработки данных клиентов внутри корпоративной экосистемы без передачи во внешние системы.

Собственные чипы. Amazon разрабатывает Trainium и Inferentia, чтобы снизить зависимость от Nvidia. Это долгосрочная ставка на контроль затрат и доступность железа.

Мультимодальные модели объединяют текст, изображения и речь — это расширяет сферу применения при меньших ресурсных затратах.

Что это значит для CTO и ML-команд

Для CTO: Пересмотрите стратегию закупки вычислительных мощностей. Рассмотрите разработку собственных чипов по примеру Amazon или переход на специализированные малые модели вместо универсальных гигантов. Закладывайте рост стоимости GPU на 200-300% в планах на 2024-2025.

Для ML-команд: Инвестируйте в компетенции по генерации синтетических данных. Это снизит зависимость от дорогих проприетарных датасетов и ускорит разработку. Дефицит качественных данных к 2026 — базовый сценарий, а не worst case.

Для продуктовых директоров: Оцените возможность использования карманных моделей для on-device inference. Это решает проблемы с приватностью данных и снижает инфраструктурные затраты. Gemini Nano с 1,8 млрд параметров — пример того, что маленькие модели уже работают.

Источник: Отчет CB Insights «Gen AI Predictions 2024»

GPU Nvidia H100 по $45 000 и данные закончатся к 2026: CB Insights о том, как GenAI выживает в инфраструктурном кризисе

Похожие статьи

Поделиться в соц. сетях

Комментарии