Как ускорить локальную LLM на AMD GPU: разбор движка Saber
Как ускорить локальную LLM на AMD GPU: разбор движка Saber

Как ускорить локальную LLM на AMD GPU: разбор движка Saber

Скорость локальной LLM на AMD GPU упирается не в модель, а в движок инференса: на одном и том же железе разные движки дают разницу в разы. Свежий пример — Saber, движок на Rust под видеокарты AMD R9700. По данным автора из единственного источника — треда r/LocalLLaMA — Qwen3.8 27b выдаёт на нём пиковые 6 645 tok/s на prefill и 316 tok/s на decode.

Как ускорить локальную LLM на AMD GPU: что такое Saber

Saber — это движок инференса, написанный на Rust и нацеленный на GPU AMD R9700. Проще говоря, это прослойка между вашей моделью и видеокартой: она решает, как разложить вычисления, чтобы prefill (обработка промпта) и decode (генерация ответа) шли быстрее.

Автор пишет, что держал проект у себя больше месяца и сомневался, выпускать ли его — движков инференса и так развелось слишком много. Причина всё же выпустить: он пошёл другим путём, чем существующие решения. Заявленная поддержка — tensor parallel на 1, 2 или 4 GPU, модели Qwen 3.8 27b и Flash next. Сейчас это узкий, но осознанный набор: не «всё и сразу», а две модели под конкретную линейку карт.

Ключевая метрика здесь — не только decode. Prefill определяет, как быстро агент «прочитает» длинный контекст или большой файл, и именно он часто становится бутылочным горлышком в автоматизации. Если верить цифрам автора, на 27b-модели ускорить локальную LLM на AMD GPU реально без смены железа.

Примеры с цифрами: сколько токенов в секунду даёт Qwen3.8 27b

По замерам BetterBench, приведённым в том же треде, Saber обгоняет доступные движки и на Qwen3.8 27b, и на Flash next. Пиковые значения для 27b — 6 645 tok/s prefill и 316 tok/s decode.

Что это значит на практике. Возьмём типичный сценарий: агент читает файл на 30 тысяч токенов и пишет ответ на 500 токенов. На prefill в 6 645 tok/s чтение контекста займёт около 4,5 секунды — вместо минут на медленном движке. Генерация 500 токенов при 316 tok/s — примерно 1,6 секунды. Итого ответ по большому документу укладывается в считанные секунды.

Оговорка важная: это пиковые цифры из поста одного автора, а не независимый бенчмарк. Реальная скорость зависит от длины контекста, квантования и числа карт в связке. Тем не менее порядок величин показывает, зачем вообще менять движок: ускорить локальную LLM на AMD GPU можно на уровне софта, не покупая новую видеокарту. Если сравниваете с другими способами разгона, посмотрите разбор про MoE без потерь.

Как выбрать движок инференса для AMD: 4 критерия

Выбирать движок стоит по четырём критериям, и Saber закрывает не все. Сначала проверьте, поддерживается ли ваша карта и модель, потом — нужен ли вам tensor parallel, затем — есть ли готовые бенчмарки, и только в конце — зрелость проекта.

  1. Железо. Saber заявлен под AMD R9700. На NVIDIA или на других AMD-картах смысла начинать с него нет.
  2. Модель. Список короткий: Qwen 3.8 27b и Flash next. Если у вас другая LLM, движок вам не подойдёт, каким бы быстрым он ни был.
  3. Масштаб. Поддержка TP 1, 2 и 4 означает, что движок рассчитан и на одну карту, и на связку из четырёх. Для мульти-GPU сценариев это редкая опция.
  4. Зрелость. Проекту месяц с небольшим публичной жизни. Для экспериментов — нормально, для продакшена — риск.
Больше разборов по ИИ и автоматизации — в канале @il_chum

Плюсы, минусы и где Saber не работает

Главный плюс — скорость на узком наборе конфигураций: Rust-реализация и заявленный обгон существующих движков на обеих поддерживаемых моделях. Второй плюс — tensor parallel до четырёх карт, что для локального инференса встречается нечасто.

Минусы вытекают из того же списка. Поддержка всего двух моделей — это не универсальный инструмент, а точечное решение. Привязка к AMD R9700 отсекает большинство пользователей. Публичных независимых замеров нет: все цифры идут от автора, который сам же и выпускает движок. И наконец, проект молодой — багов и недокументированных краёв стоит ждать.

Смотрите, как это выглядит вживую. Я гоняю локальные модели на одной карте и обычно беру то, что заведётся без плясок. Здесь сценарий такой: у вас R9700, вам нужна Qwen 27b, и вы упираетесь в медленный prefill на длинных контекстах. Берём Saber, ставим, прогоняем свой промпт на 20–30 тысяч токенов и замеряем время до первого токена. Если оно падает с десятков секунд до единиц — движок остаётся. Если ваша карта или модель не в списке — вы закрываете вкладку через минуту, и это нормально. Спотыкаются тут на одном: люди хватают цифры из поста и ждут их на своём железе с другим контекстом и квантованием. Не ждите.

Как начать: шаги запуска Saber

Начать стоит с проверки совместимости, а не с установки. Если карта и модель не совпадают со списком, дальше идти незачем.

  1. Проверьте, что у вас AMD R9700 и одна из двух моделей — Qwen 3.8 27b или Flash next.
  2. Определитесь с числом карт: TP 1, 2 или 4.
  3. Соберите Saber из исходников на Rust (репозиторий указан в треде автора на r/LocalLLaMA).
  4. Запустите инференс Qwen3.8 27b на своей карте.
  5. Прогоните свой реальный промпт и замерьте prefill и decode, а не полагайтесь на пиковые числа из поста.

Сравнить результат есть с чем: если хочется сначала посмотреть, как локальные модели живут на обычном железе, начните с материала как запустить локальную LLM.

Кому это не подходит и что бы я сделал иначе

Честно: Saber нужен узкой группе — тем, у кого AMD R9700 и Qwen 27b в работе. Всем остальным он не подойдёт, и это не недостаток движка, а его рамки.

Если бы я начинал сегодня, я бы не ставил его на продакшен-агента. Сначала — тест на своём промпте, замер prefill и decode, и только потом решение. Проект слишком молодой, а цифры — из одного поста. Для экспериментов и локальных пайплайнов беру, для боевых задач подожду независимых замеров.

Частые вопросы

Saber быстрее llama.cpp? По заявлению автора — да, на Qwen3.8 27b и Flash next по BetterBench. Независимого подтверждения в материале нет.

Подойдёт ли Saber для NVIDIA? Нет, движок заявлен под AMD R9700, поддержка других карт не указана.

Можно ли запустить на нём другую модель? Нет, список ограничен Qwen 3.8 27b и Flash next.


Больше разборов по ИИ и автоматизации — в канале: @il_chum