Как ускорить локальную LLM на слабой видеокарте: MoE без потерь

Как ускорить локальную LLM на слабой видеокарте

Ускорять локальную LLM на слабой видеокарте нужно не обрезкой модели, а предсказанием того, какие эксперты MoE понадобятся на следующем токене, и точным оффлоадом. Свежий пример — Betelgeuse: Qwen 3.8 Flash Next выдаёт на RTX 3060 12GB + 16GB DDR4 RAM 22 tok/s устойчиво с пиками до 48 tok/s, и результат заявлен как 100% bit-exact. То есть ускорить локальную LLM на слабой видеокарте можно, не ломая выход модели.

Что такое предсказание экспертов MoE и зачем оно для ускорения LLM

Предсказание экспертов MoE — это выбор, какие части модели грузить на GPU заранее, до того как роутер окончательно определит экспертов на следующий токен. В MoE-модели на каждый токен активна только часть экспертов, остальные простаивают; если угадать нужные, можно держать на видеокарте только их и не гонять лишнее через PCIe.

Два месяца назад автор Betelgeuse уже публиковал прототип такого подхода на Qwen 3.6 35B. Идея та же: предсказать, какие эксперты будут использованы на следующем токене, и ускорить оффлоад CPU/GPU. Разница в том, что теперь заявлена точность 100% bit-exact, а не приближение.

Чем плох gate pruning и почему он не подходит для ускорения LLM

Gate pruning — отбрасывание «холодных» экспертов с низкими весами роутера — даёт рост tok/s, но портит качество. Автор прямо признаёт: старый прототип он выбросил, потому что ради больших цифр фактически жульничал — дропал холодных экспертов, когда веса роутера были низкими.

Счётчик tok/s рос, но на уже низкобитном кванте это тихо деградировало вывод и рассуждения. Формулировка из поста: не хотелось выпускать штуку, которая «лоботомирует» модель. Для тех, кто выбирает между скоростью и качеством, это ключевой аргумент: ускорить локальную LLM на слабой видеокарте через отбрасывание экспертов — самый быстрый путь к мусорному выводу.

Как выбрать подход к ускорению: 4 критерия

Выбирать способ ускорения стоит по точности, а не по пиковому tok/s. Критерии, по которым видно разницу между gate pruning и bit-exact предсказанием:

1. Точность выхода. Требуйте bit-exact или явного замера качества на своих промптах. Gate pruning на низкобитном кванте деградирует незаметно.
2. Тип модели. Подход рассчитан на MoE: у плотных моделей предсказывать нечего, все веса нужны на каждом токене.
3. Запас VRAM. На RTX 3060 12GB + 16GB DDR4 RAM помещается Qwen 3.8 Flash Next — при меньшем объёме памяти предсказание экспертов не спасёт.
4. Стабильность, а не пики. Смотрите на устойчивый tok/s: 22 tok/s sustained против 48 tok/s spike — разница между рабочей скоростью и всплеском.

Пример с цифрами: Qwen 3.8 Flash Next на RTX 3060 12GB

Betelgeuse на Qwen 3.8 Flash Next даёт 22 tok/s устойчиво и до 48 tok/s на пиках при 100% bit-exact на связке RTX 3060 12GB + 16GB DDR4 RAM. Это конфигурация бюджетного локального стенда, а не сервера.

Что важно в этих числах:

• 22 tok/s sustained — реальная скорость генерации, на неё стоит ориентироваться.
• 48 tok/s spike — верхняя граница, которая не держится постоянно.
• 100% bit-exact — заявленное совпадение с эталонным выводом, то есть без потери качества, в отличие от старого прототипа с gate pruning.
• Qwen 3.6 35B — модель, на которой проверялась первая версия идеи два месяца назад.

Если считаете, сколько памяти нужно под модель до скачивания, пригодится разбор сколько VRAM нужно для локальной LLM. А если задача — держать на одной карте несколько агентов, смотрите материал как запустить несколько ИИ-агентов на одной видеокарте.

Плюсы и ограничения: где ускорение LLM не работает

Главный плюс подхода — скорость без обрезки качества: bit-exact оффлоад вместо gate pruning. Ограничения тоже конкретные.

• Только MoE. Предсказание экспертов бессмысленно для плотных моделей.
• Нужна память под экспертов. RTX 3060 12GB + 16GB DDR4 RAM — рабочий минимум из примера; меньше памяти — меньше выигрыш.
• Низкобитный квант — зона риска. Именно на нём gate pruning тихо портил рассуждения, поэтому проверять качество нужно на своём кванте.
• Пики не гарантированы. 48 tok/s — всплеск, планируйте по 22 tok/s.

Как начать: шаги проверки ускорения на своей машине

Начать стоит с замера базовой скорости и качества, а уже потом включать предсказание экспертов. Порядок такой:

1. Зафиксируйте конфигурацию: GPU, объём VRAM и RAM, квант модели. Пример-ориентир — 12GB VRAM + 16GB DDR4.
2. Замерьте базовый tok/s на своей MoE-модели без оптимизаций, отдельно sustained и пики.
3. Сохраните эталонные ответы на 5–10 промптов, чтобы потом сравнивать bit-exact, а не «на глаз».
4. Включите предсказание экспертов и повторите замер: цель — рост sustained tok/s без изменения ответов.
5. Прогоните те же промпты и сравните с эталоном. Любое расхождение — сигнал, что оптимизация режет качество, как старый gate pruning.

Частые вопросы

Можно ли ускорить локальную LLM на слабой видеокарте без потери качества? Да, если ускорять оффлоад экспертов MoE предсказанием, а не обрезать экспертов. В примере Betelgeuse на RTX 3060 12GB получено 22 tok/s sustained при 100% bit-exact.

Почему gate pruning плох для ускорения LLM? Он отбрасывает экспертов с низкими весами роутера и на низкобитном кванте тихо деградирует вывод и рассуждения. Автор Betelgeuse отказался от такого прототипа именно из-за потери качества.

Сколько tok/s ждать на RTX 3060 12GB? По заявленным замерам — 22 tok/s устойчиво с пиками до 48 tok/s на Qwen 3.8 Flash Next. Планировать нагрузку стоит по устойчивому значению.

Больше разборов по ИИ и автоматизации — в канале: @il_chum