Что такое Heretic и как убрать цензуру из локальной LLM
Heretic — это инструмент training-free модификации языковых моделей: он меняет поведение LLM без дообучения, правя веса напрямую. С его помощью можно убрать цензуру, подавить slop (шаблонную «водянистую» генерацию) и снизить сикофантию — угодливое согласие с пользователем. Репозиторий p-e-w/heretic набрал около 420 звёзд за сутки, то есть спрос на задачу «как убрать цензуру из LLM» подтверждается свежим примером.
Ключевая формулировка из описания проекта: modify any LLM that you can run on your hardware — «модифицируй любую LLM, которую можешь запустить на своём железе». Всё делается за один вечер на игровом ПК, без датасетов, без GPU-кластера и без файнтюнинга.
Виды правок поведения модели: что именно меняет training-free модификация
Training-free подход работает не с промптами и не с системными инструкциями, а с самими весами модели. Heretic заявляет четыре направления правок, и это и есть виды изменений, которые можно комбинировать:
- Снятие цензуры — отказ от шаблонных блокировок и осторожных формулировок на легитимные запросы.
- Подавление slop — меньше клише, воды и «в современном мире» в ответах.
- Снижение сикофантии — модель реже поддакивает и чаще возражает по делу.
- Прочие правки поведения — описание проекта оставляет список открытым («and more»).
Отличие от альтернатив принципиальное: промпт-инжиниринг и системные сообщения работают поверх модели и легко слетают, а правка весов меняет поведение на уровне самой сети. При этом это не файнтюнинг: не нужны размеченные пары «плохой ответ / хороший ответ» и многочасовые прогоны.
Как выбрать модель и режим запуска: критерии и VRAM
Выбирать нужно по одному главному критерию — модель должна запускаться на вашем железе. Heretic поддерживает on-the-fly 4-битную квантизацию через bitsandbytes: это снижает объём VRAM, нужный для обработки модели, примерно до того же уровня, что и у типичной квантованной версии при обычном инференсе.
Практические критерии выбора:
- Помещается ли модель в VRAM — сначала проверьте, идёт ли она у вас в обычном квантованном виде; если да, шанс есть и здесь.
- Нужна ли 4-битная квантизация on-the-fly — включайте bitsandbytes, если памяти впритык.
- Какие правки приоритетны — цензура, slop или сикофантия; не обязательно гнать все сразу.
- Формат и происхождение весов — проект рассчитан на модели, которые вы реально можете прогнать локально, а не на закрытые API.
Пример с числами: если ваша квантованная версия модели занимает, скажем, почти всю память видеокарты, режим 4-bit on-the-fly из Heretic нацелен на сопоставимый расход VRAM — то есть отдельная карта под модификацию не требуется.
Как начать: шаги запуска Heretic
Начать можно за один вечер: ставите зависимости, берёте модель, которая уже работает на вашем ПК, и запускаете модификацию. Пошагово:
- Откройте репозиторий p-e-w/heretic и прочитайте README — там актуальные команды установки.
- Подготовьте окружение Python и установите зависимости проекта, включая bitsandbytes, если нужна 4-битная квантизация.
- Убедитесь, что выбранная LLM запускается на вашем железе в обычном квантованном виде — это условие из описания проекта.
- Запустите модификацию с включённой 4-bit квантизацией on-the-fly, если VRAM впритык.
- Проверьте результат на своих типовых запросах: сравните ответы до и после по цензуре, slop и сикофантии.
Если вы ещё выбираете, на чём вообще гонять локальные модели, пригодится разбор как запустить ИИ-агента на своём устройстве, а для оценки результата — материал как сравнить две LLM на реальной задаче.
Ограничения training-free подхода и типичные ошибки
Главное ограничение: метод работает только с моделями, которые вы можете запустить на своём оборудовании. Закрытые API и чужие хостинги здесь не подходят — веса должны быть у вас.
Типичные ошибки:
- Ждать результата без запаса VRAM — без 4-bit on-the-fly квантизации модель может не поместиться; включайте bitsandbytes заранее.
- Путать с файнтюнингом — здесь нет обучения на датасете, поэтому не стоит ждать «новых знаний», меняется поведение, а не база фактов.
- Гнать все правки сразу — снимать цензуру, slop и сикофантию одновременно стоит только после проверки каждой правки по отдельности.
- Не сравнивать до/после — без контрольных запросов невозможно понять, что именно изменилось в ответах.
Частые вопросы
Heretic — это что такое? Инструмент training-free модификации LLM: он правит веса модели без обучения, чтобы убрать цензуру, подавить slop и снизить сикофантию.
Сколько VRAM нужно, чтобы убрать цензуру из локальной LLM через Heretic? Столько же, сколько для запуска типичной квантованной версии модели: on-the-fly 4-битная квантизация через bitsandbytes снижает требования к памяти до сопоставимого уровня.
Нужен ли файнтюнинг и датасет? Нет. Всё делается за один вечер на игровом ПК, без обучения и разметки данных.
Больше разборов по ИИ и автоматизации — в канале: @il_chum