Токены (tokens) что это такое простыми словами: как считать
Токены (tokens) что это такое простыми словами: как считать

Токены (tokens) что это такое простыми словами: как считать

Токены (tokens) — это минимальные единицы текста, на которые нейросеть разбивает запрос и ответ, чтобы обработать их по частям. Один токен может быть словом, частью слова или знаком препинания. В одном из экспериментов модели Qwen3.5-9B хватило около 4,5 ГиБ памяти для весов, чтобы работать с контекстом в несколько тысяч токенов. Если вы только начали разбираться с LLM, начните с материала как выбрать LLM по цене и качеству.

Токены что это такое и как они связаны со словами

Токен — это не слово и не буква, а единица, которую модель видит на входе. Токенизатор режет текст на куски по частям слов, которые часто встречаются в обучающих данных. Английское слово «running» может стать одним токеном, а редкое русское слово развалится на два-три. Поэтому нельзя сказать «1000 токенов = 1000 слов»: в среднем на английском одно слово даёт около 1,3 токена, на русском — ближе к 2–3. Проще считать так: одна страница текста — это примерно 500–700 токенов. Когда вы отправляете запрос в чат, провайдер считает токены во всём диалоге, а не только в последнем сообщении.

Как работает токенизация: от текста до чисел

Процесс идёт в три шага: текст режется на токены, каждый токен превращается в число из словаря, и эти числа уходят в модель. Словарь типичной LLM содержит от 32 до 200 тысяч токенов. Модель не видит буквы — она видит последовательность чисел и предсказывает следующее число. Отсюда и ограничение контекста: у модели есть максимум токенов, которые она может удержать в памяти за один раз. В упомянутом проекте для PS4 контекст ограничен железом, но даже там модель укладывается в несколько тысяч токенов. Если хотите понять, как формулировать запросы, чтобы не тратить токены зря, читайте промпты что это такое простыми словами.

Виды токенизации и чем они отличаются

Разные модели используют разные токенизаторы, и от этого зависит, сколько вы заплатите. Популярны BPE (byte pair encoding), WordPiece и SentencePiece. BPE начинает с отдельных байтов и склеивает частые пары, WordPiece делает похожее, но с другим критерием, SentencePiece умеет работать с языками без пробелов. Для пользователя разница проявляется в цифрах: один и тот же русский текст у разных моделей может дать разное количество токенов. В проекте с PS4 веса пересобирают в кастомные 4- и 3-битные форматы, чтобы уложиться в память, — это тоже влияет на то, сколько токенов модель сможет обработать за раз. Выбирая модель, смотрите не только на цену за токен, но и на то, насколько эффективен её токенизатор для вашего языка.

Сколько стоят токены и из чего складывается цена

Цена зависит от трёх вещей: модели, направления (вход или выход) и объёма. Провайдеры берут деньги за каждую тысячу токенов, причём выходные токены обычно дороже входных в 2–4 раза. Например, если модель стоит $0,5 за миллион входных токенов и $1,5 за миллион выходных, то запрос на 1000 токенов с ответом на 500 токенов обойдётся примерно в $0,00125. Это немного, но в агентных сценариях, где модель делает десятки шагов, счёт растёт быстро. В проекте Qwen3.5-9B на PS4 токены не стоят ничего, потому что всё считается локально. Данные из единственного источника — треда r/LocalLLaMA, это оценка автора поста, а не измерение. Если хотите сократить расход, есть разбор как сэкономить на дорогой LLM с помощью дешёвых моделей.

Больше разборов по ИИ и автоматизации — в канале @il_chum

Где применяют токены и когда не надо считать

Токены нужны везде, где есть ограничение на объём текста или бюджет: в чатах, в агентах, в RAG-системах, в генерации кода. Но не всегда стоит забивать голову подсчётом. Если вы пишете короткий запрос в бесплатном чате, разница в 10–20 токенов не важна. Считать имеет смысл, когда вы платите за API, когда контекст близок к лимиту или когда вы сравниваете модели по стоимости. В проекте с PS4 автору пришлось считать токены, чтобы уложиться в память старой консоли: там каждый лишний токен контекста — это лишние мегабайты. Я бы не советовал новичкам сразу лезть в токенизаторы: начните с простого правила «одна страница ≈ 500–700 токенов» и следите за счётчиком в интерфейсе. Если хотите глубже, посмотрите как сократить расход токенов ИИ-агента.

Частые вопросы

Сколько токенов в одном слове? В английском в среднем 1,3 токена на слово, в русском — 2–3. Точное число зависит от модели и токенизатора.

Токены и символы — это одно и то же? Нет. Символ — это буква или знак, токен — кусок текста, который может включать несколько символов или быть их частью.

Почему цена за токены разная у разных моделей? Потому что модели разные по размеру и сложности, а токенизаторы по-разному режут текст. Выходные токены почти всегда дороже входных.


Больше разборов по ИИ и автоматизации — в канале: @il_chum