Что такое токены в LLM?
Коротко: Токены — это фрагменты текста (слова, части слов, знаки препинания), на которые модель разбивает запрос и ответ. Именно от их количества зависит стоимость работы модели и размер контекстного окна.
Как устроены токены
Модель не читает текст по буквам. Она разбивает его на токены: например, слово «нейросеть» может состоять из двух-трёх токенов, а короткие слова часто являются одним токеном. На разных языках число токенов на слово отличается — русский текст обычно требует больше токенов, чем английский.
Почему это важно
- Стоимость: API тарифицируют и входящие, и исходящие токены.
- Контекстное окно: его размер ограничен числом токенов.
- Скорость: больше токенов — дольше генерация.
Как экономить токены
Пишите запросы короче, убирайте лишние детали и разбивайте большие тексты на части. Это снижает стоимость и ускоряет работу модели.
Попробуйте Manus — автономный ИИ-агент: + 2500 токенов
Планирует и выполняет задачи: исследование, анализ, генерация контента. Доступ по приглашению.
Источники: Документация OpenAI и Anthropic по токенам и тарифам API.
Бесплатный разбор вашего сайта
Оставьте заявку — специалисты MetaRise оценят вашу видимость в поиске и нейросетях.