Словарь терминов

Что такое токен

Модель видит текст не как буквы, а как токены. Это связано с тем, как работает большая языковая модель, о чем есть и общий словарь терминов.

Зачем нужны токены

Токен это маленькая часть текста, например слово или часть слова. Модель работает именно с токенами, а не с буквами.

От числа токенов зависит контекстное окно, то есть сколько текста модель удерживает за один раз.

• Модель делит текст на токены.
• По токенам считают длину текста.
• По токенам часто считают и стоимость.

Бытовое сравнение

Это похоже на то, как текст режут на кусочки пазла. Модель работает с кусочками по очереди, а не видит сразу всю картинку целиком.

Токены и цена

Чем длиннее запрос и ответ, тем больше токенов уходит. Прикинуть будущие расходы помогает раздел про план затрат на API.

Цены и условия со временем меняются, поэтому актуальные тарифы стоит проверять в официальной документации, а не по старым статьям.

Где применяется

Слово токен попадается там, где важна длина текста или стоимость работы модели.

• В платных тарифах, где счет идет за число токенов на входе и на выходе.
• В лимите длины диалога, который связан с контекстным окном модели.
• В инструментах оценки, например в оценщике токенов.

Что это не значит

Токен это не буква. Чаще это целое слово или его часть, а иногда отдельный знак препинания.

Токены в русском и английском считаются по-разному, поэтому одинаковое по смыслу предложение может занять разное число токенов.

Как держать длину под контролем

Если задача большая, разбейте ее на части. Несколько коротких запросов часто удобнее и дешевле одного огромного.

1. Уберите лишний текст из запроса.
2. Просите ответ нужного объема.
3. Разбейте большую задачу на части, ведь длина связана с тем, как устроена большая языковая модель, а термины собраны в словаре терминов.

Пример

Токен кратко

Вопрос	Ответ
Что это	Маленькая часть текста
Зачем	Чтобы считать длину текста
Где важно	В контекстном окне и оплате
Сколько в слове	Часто один, у длинных слов больше
От чего зависит число	От языка и длины слов

Сколько токенов в разных словах (простая иллюстрация)

Короткое слово 1

Среднее слово 2

Длинное слово 3

Знаки и пробелы 1

Как текст превращается в токены

1

Берется текст

Модель получает ваш запрос.

2

Текст делится

Он разбивается на токены.

3

Идет в обработку

Модель работает уже с токенами.

Связанные термины

Частые вопросы

Токен это буква?

Нет. Чаще это слово или часть слова, а иногда знак препинания.

Зачем мне знать про токены?

По ним считают длину текста и часто стоимость работы в платных сервисах.

Сколько токенов в предложении?

Это зависит от слов. Точное число можно прикинуть в специальном инструменте оценки.

В русском больше токенов, чем в английском?

Часто да. Разбивка на токены зависит от языка и конкретных слов.

Можно ли уменьшить число токенов?

Да. Уберите лишний текст из запроса и просите более короткий ответ.

Источники

Мы опираемся на официальную документацию. Цены и состав моделей могут меняться, проверяйте важные факты по первоисточникам.

• platform.openai.com/docs