Что это: ИИ-суперкомпьютер с eBay в двух предложениях
ИИ-суперкомпьютер — это кластер из сотен серверов с ускорителями (обычно GPU), объединённых быстрой сетью под одну задачу обучения или инференса моделей. На eBay такой выставлен впервые в таком масштабе: реселлер Core 4 Solutions из Миннесоты продаёт списанный кластер из 300 стоек за $59,7 млн или лучшую цену.
Объявление появилось на r/singularity. Внутри — до 9 600 GPU Nvidia A100 и 4 200 процессоров AMD, суммарно около 1,4 петабайта памяти. Железо б/у, с гарантией 30 дней, продавец утверждает, что кластер вышел из гиперскейлерской облачной инфраструктуры.
Что внутри кластера: конфигурация в цифрах
ИИ-суперкомпьютер такой конфигурации — это уровень крупного облака, а не лаборатории. Вот что известно из листинга:
- 300 стоек оборудования;
- до 9 600 ускорителей Nvidia A100;
- 4 200 процессоров AMD;
- около 1,4 ПБ памяти суммарно;
- состояние: used, гарантия 30 дней;
- доставка: бесплатный самовывоз, бесплатный FedEx Ground или overnight за $50.
Для сравнения: 9 600 A100 — это порядка сотни узлов по 8 GPU. На таком объёме уже имеет значение не только число карт, но и топология сети между стойками, питание и охлаждение — в листинге этого нет.
Сколько стоит ИИ-суперкомпьютер и из чего складывается цена
Сколько стоит ИИ-суперкомпьютер, видно по этому лоту: $59,7 млн за весь кластер. В пересчёте на 9 600 GPU это около $6,2 тыс. за одну A100 — без учёта процессоров, памяти, стоек и доставки.
Цена складывается из четырёх частей:
- Ускорители. A100 — предыдущее поколение, но всё ещё рабочая карта для обучения и инференса. Основная доля стоимости именно здесь.
- CPU и память. 4 200 процессоров AMD и 1,4 ПБ RAM — второй по величине блок затрат.
- Инфраструктура. 300 стоек, питание, охлаждение, сеть. В цену лота входят, в стоимость эксплуатации — нет.
- Логистика и риски. Б/у железо с гарантией всего 30 дней: часть карт придётся менять, и это тоже деньги.
Плюсы и минусы: где такой ИИ-суперкомпьютер не работает
ИИ-суперкомпьютер за $59,7 млн решает только одну задачу — дать много GPU в одни руки. Всё остальное — ограничения.
Плюсы:
- цена за GPU ниже, чем у новых карт;
- сразу готовая инфраструктура на 300 стоек;
- 1,4 ПБ памяти и 4 200 CPU в комплекте.
Минусы и где не работает:
- Гарантия 30 дней. Для 9 600 карт это статистически мало: отказы будут почти сразу.
- Нет данных о сети. Для обучения больших моделей нужен быстрый интерконнект между узлами, а в листинге о нём ничего.
- Эксплуатация. 300 стоек требуют дата-центра, электричества и охлаждения — это отдельный бюджет, которого в цене нет.
- A100 — прошлое поколение. Для многих задач выгоднее аренда новых карт, чем покупка старых.
Если задача — не обучение с нуля, а инференс, дешевле начать с одной видеокарты: см. сколько VRAM нужно для локальной LLM и как запустить большую MoE-модель на одной видеокарте.
Как начать: что делать, если нужен свой кластер
ИИ-суперкомпьютер покупают не с eBay, а по расчёту. Порядок действий:
- Посчитайте нагрузку. Сколько GPU-часов в месяц нужно под обучение и инференс. Без этой цифры цена лота ничего не значит.
- Сравните с арендой. $59,7 млн — это бюджет на годы облачной аренды. Для большинства команд аренда дешевле.
- Проверьте инфраструктуру. Питание, охлаждение, сеть на 300 стоек — считайте до покупки железа.
- Заложите замену. При гарантии 30 дней резерв на ремонт карт — обязательная строка бюджета.
- Начните с малого. Один узел на 8 GPU даёт понять, какую модель вы реально обучаете, прежде чем брать 9 600 карт.
Частые вопросы
Сколько GPU в этом ИИ-суперкомпьютере? До 9 600 Nvidia A100 и 4 200 процессоров AMD, около 1,4 ПБ памяти суммарно.
Сколько стоит ИИ-суперкомпьютер с eBay? $59,7 млн или лучшая цена. В пересчёте — примерно $6,2 тыс. за одну A100 без учёта остального железа.
Стоит ли покупать такой кластер? Для большинства — нет: гарантия 30 дней, нет данных о сети, а эксплуатация 300 стоек требует своего дата-центра. Аренда GPU обычно выгоднее.
Больше разборов по ИИ и автоматизации — в канале: @il_chum