Как проверить слух об утечке ИИ-модели: чек-лист
Как проверить слух об утечке ИИ-модели: чек-лист

Как проверить слух об утечке ИИ-модели: чек-лист

Слух об утечке ИИ-модели проверяется по трём вещам: метаданные репозитория, физика файлов и воспроизводимость запуска. Без этого любой чекпоинт на Hugging Face — просто набор байт с красивым README. Свежий пример: репозиторий burner22/numbat заявил внутренний тренировочный чекпоинт Anthropic класса Mythos — 14 трлн параметров, 1 224 эксперта MoE, 7,72 ТБ весов в 772 шардах, гибридная архитектура GDN + MLA. Независимого подтверждения, что это настоящие веса Anthropic, нет.

Что это такое: что заявлено в репозитории об утечке ИИ-модели

Заявка описывает не готовую модель, а тренировочный чекпоинт — промежуточное состояние обучения. Это важное отличие: такие файлы редко выкладывают наружу даже внутри компании, потому что они бесполезны без кода обучения и датасета.

Что перечислено в карточке репозитория:

  • 14 трлн параметров;
  • 1 224 эксперта MoE;
  • 7,72 ТБ весов;
  • 772 шарда весов;
  • гибридная архитектура GDN + MLA;
  • код архитектуры, конфиги и метаданные обучения.

Проверить слух об утечке ИИ-модели можно только по файлам: размер, хеши, конфиг, поведение при загрузке. Сам README ничего не доказывает.

Виды и варианты: какие бывают «утечки» моделей

Публикация весов на Hugging Face — это всегда один из четырёх сценариев, и они различаются по трудозатратам автора.

  1. Реальная утечка. Кто-то с доступом к инфраструктуре выложил шарды. Признак — консистентность: конфиг, токенизатор и веса сходятся между собой.
  2. Вброс ради внимания. Пустой или случайный репозиторий с громким названием. Признак — файлы не грузятся или весят не то, что заявлено.
  3. Маркетинг. Релиз под видом «случайно утекло». Признак — быстрая официальная реакция и аккуратные метаданные.
  4. Honeypot. Ловушка для журналистов и конкурентов. Признак — репозиторий быстро удаляют, а по следам ищут, кто его скачал.

Кейс numbat пока ближе ко второму или четвёртому: слишком громкие цифры и нулевая верификация.

Как проверить слух об утечке ИИ-модели: 5 критериев с цифрами

Проверка занимает от часа до суток и не требует полной загрузки 7,72 ТБ. Начните с дешёвых шагов.

  1. Сверьте размер. 14 трлн параметров при 7,72 ТБ весов дают около 4,4 бита на параметр. Для тренировочного чекпоинта в fp16 это невозможно: нужно ~28 ТБ. Значит, либо квантование, либо цифры выдуманы.
  2. Проверьте шарды. 772 файла на 7,72 ТБ — это в среднем ~10 ГБ на шард. Скачайте один-два и посмотрите заголовки: формат (safetensors, GGUF), число тензоров, dtype.
  3. Прочитайте конфиг. В config.json должны сходиться hidden size, число слоёв и число экспертов. Если 1 224 эксперта не бьются с размером матриц — это фейк.
  4. Сопоставьте токенизатор. Токенизатор Anthropic нигде публично не выложен. Любой «фирменный» tokenizer.json — либо утечка, либо копия открытого.
  5. Попробуйте загрузить один слой. Если код архитектуры в репозитории рабочий, слой инициализируется. Если падает на импорте — кода нет, есть картинка.

Есть и обратная сторона: если чекпоинт настоящий, качать его на домашнюю машину бессмысленно. Сравнение подходов — в разборе локальная LLM или облачная: как выбрать по бенчмаркам.

Больше разборов по ИИ и автоматизации — в канале @il_chum

Плюсы и минусы: что даёт публикация чекпоинта

Даже фейковая утечка полезна: она показывает, насколько рынок голоден до больших открытых MoE. Реальная — меняет расклад, но почти не даёт практической пользы.

Плюсы для читателя:

  • появляется повод разобрать архитектуры GDN и MLA на конкретных числах;
  • видно, как устроены карточки больших чекпоинтов: шарды, конфиги, метаданные;
  • растёт спрос на инструменты проверки весов.

Минусы и ограничения:

  • 7,72 ТБ не влезают ни в одну домашнюю видеокарту — запуск возможен только на кластере;
  • без кода обучения тренировочный чекпоинт почти не воспроизводим;
  • юридически скачивание чужого чекпоинта — риск, а не достижение.

Если задача — запустить большую MoE на своём железе, смотрите не на такие слухи, а на рабочие схемы вроде как запустить большую MoE-модель на одной видеокарте.

Типичные ошибки при проверке утечки ИИ-модели

Главная ошибка — верить заголовку репозитория и числу параметров без открытия файлов. Вторая — качать весь чекпоинт «на всякий случай». Третья — репостить новость до того, как проверены размеры и конфиг.

Короткий список того, чего делать не стоит:

  • запускать неизвестный код из репозитория на рабочей машине;
  • считать число параметров доказательством: его пишут в README руками;
  • путать тренировочный чекпоинт с релизной моделью;
  • делать выводы по одному скриншоту из соцсети.

Правило простое: пока не открыт хотя бы один шард и не прочитан config.json, это не утечка, а слух.

Частые вопросы

Это правда утечка модели Anthropic? Не подтверждено. В репозитории burner22/numbat заявлены 14 трлн параметров и 7,72 ТБ весов, но независимой проверки, что это настоящие веса Anthropic, нет.

Можно ли запустить такую модель дома? Нет. 7,72 ТБ весов не помещаются в память одной видеокарты; для тренировочного чекпоинта такого размера нужен кластер, а не ПК.

Как быстро отличить фейк от реальной утечки? Сверьте заявленный объём с форматом: 14 трлн параметров в fp16 — это около 28 ТБ, а не 7,72 ТБ. Нестыковка по битам на параметр — первый признак вброса.


Больше разборов по ИИ и автоматизации — в канале: @il_chum