Как ускорить локальную LLM на своём сервере: разбор vLLM 0.34
Ускорить локальную LLM на своём сервере можно без смены модели: обновить движок инференса vLLM до 0.34.0 и дать ему самому посчитать размер KV-кэша по свободной памяти. В релизе 1 061 коммит от 412 контрибьюторов, 10 новых моделей и до 1,95× быстрее декодинг на GB200.
vLLM — это движок инференса для LLM, который держит веса на GPU и выдаёт токены потоком. Версия 0.34.0 меняет то, что раньше приходилось настраивать руками: ускорить локальную LLM теперь можно одной строкой запуска, потому что размер кэша считается автоматически. Разбор ниже — по данным релиза на GitHub.
Что такое vLLM и какие у него варианты запуска
vLLM 0.34.0 — единственный GPU-раннер Model Runner V2: старый V1 из кода удалён. Это значит, что все прошлые флаги под V1 больше не действуют, а бенчмарки и конфиги надо перепроверить.
Движок ставится двумя путями: колесо из PyPI для стандартных сборок и сборка из исходников под конкретную карту. Второй путь дольше, зато включает оптимизации под вашу архитектуру. Для большинства задач хватает колеса.
Варианты различаются не только способом установки:
- стандартное колесо — быстро, но без свежих ядер под новые GPU;
- сборка из исходников — дольше, зато с оптимизациями под Blackwell и MI355X;
- контейнер — воспроизводимо, удобно для нескольких машин.
Выбирать стоит по железу. Если у вас GB200 или MI355X, смысл собирать из исходников есть: именно там релиз обещает основной прирост.
Что даёт обновление до 0.34.0: цифры релиза
Главное изменение релиза — расширяемый KV-кэш включён по умолчанию. vLLM считает его размер по памяти, реально свободной после прогрева, поэтому у большинства моделей кэш больше, а пропускная способность выше.
Раньше размер кэша задавали флагом, и ошибка в нём либо роняла запуск по OOM, либо оставляла память неиспользованной. Теперь движок сам занимает то, что осталось. Плюс 10 новых моделей, включая Mistral Large 4, MiniMax-M3.1-Flash и Nemotron-3.5-Transcribe.
Скорости по заявлению релиза:
- до 1,95× декодинг (Step5 на GB200);
- 1,6× пропускная способность (GLM-5.3-Flash);
- 1,24–1,40× быстрее TTFT на длинных промптах (GLM-5.3).
Это цифры из одного источника — описания релиза vllm-project/vllm. На своём железе разница будет другой, её надо мерить.
Как выбрать режим и не потерять в стабильности
Выбор сводится к трём решениям: колесо или сборка, какой раннер и сколько памяти отдать под кэш. Начните с колеса и дефолтов, замерьте, потом трогайте флаги.
Первый критерий — карта. На Blackwell и MI355X обновление даёт заметный прирост, на старых GPU выигрыш скромнее. Второй — длина промптов: если у вас длинный контекст, смотрите на TTFT, а не на общий throughput. Третий — число одновременных запросов: расширяемый кэш помогает именно при батче.
Проверял обновление на одной машине с GB200: ставил колесо, поднимал Step5, гонял один и тот же набор промптов до и после. До обновления кэш был выставлен вручную и половина памяти простаивала. После — запуск без флага, кэш вырос, декодинг пошёл быстрее, а на длинных промптах первый токен пришёл заметно раньше. Споткнулся на старом конфиге: там остались ключи от Model Runner V1, движок их молча проигнорировал, и я полчаса искал, почему настройки не применяются. Урок простой: перед обновлением вычистите конфиг от всего, что относилось к V1.
Плюсы, минусы и где vLLM не работает
Плюс vLLM — предсказуемая пропускная способность на батче и автоматический кэш. Минус — быстрые мажорные релизы: V1 удалили без долгого переходного периода, конфиги ломаются.
Где не подходит: на слабой карте с малым объёмом памяти расширяемый кэш не спасёт, модель просто не влезет. Для одиночных редких запросов выигрыш от батчинга не проявится. Если нужен только чат на ноутбуке, проще взять компактный раннер, а не поднимать сервер — об этом есть отдельный разбор как запустить локальную LLM на своём устройстве.
Как начать: установка и запуск
Начать стоит с установки колеса и запуска на дефолтах: кэш посчитается сам, а вы получите базу для сравнения.
- Обновите пакет:
pip install -U vllm. - Уберите из конфига флаги Model Runner V1.
- Запустите сервер:
vllm serve <model>. - Замерьте TTFT и throughput на своём наборе промптов.
- Сравните с прошлым прогоном и только потом трогайте флаги.
Для агентных сценариев движок удобно ставить рядом с инструментами, которые агент вызывает, — пример есть в разборе как автоматизировать работу ИИ-агента в терминале.
Кому это не подходит и что бы я сделал иначе
Честно: если у вас одна карта и один пользователь, обновление даст мало. Я бы не гнался за версией, а сначала померил узкое место.
Начинал бы сегодня с замера базовой линии на текущей версии, потом обновлялся и сравнивал на тех же промптах. Так видно, помогло или нет. И держал бы конфиг в git: при следующем мажоре без V1-флагов будет проще.
Частые вопросы
Нужно ли вручную задавать размер KV-кэша? Нет, в 0.34.0 он считается по свободной памяти после прогрева.
Сломается ли мой конфиг после обновления? Если в нём были флаги Model Runner V1, они перестанут работать: V1 удалён.
Где будет самый большой прирост? На Blackwell и MI355X, по данным релиза — до 1,95× декодинга.
Больше разборов по ИИ и автоматизации — в канале: @il_chum