Сколько стоит этот текст в каждой модели?
Одна и та же работа стоит на порядки по-разному в зависимости от того, кто её выполняет. Вставьте текст и посмотрите цены рядом, от самой низкой к самой высокой.
- Модуль
- Роутер
- Ввод
- Текст
- Где работает
- Ваш браузер
- Стоимость
- Бесплатно, без регистрации
Оценка по письменности: латиница ≈ 4 символа на токен; китайский, японский и корейский расходуют заметно больше. Публичные прайс-листы, в долларах.
Тот же текст, та же работа, цены с разбросом в 100 раз
Модель ИИ берёт плату за токен, части слов, на входе и на выходе. Почти никто не смотрит на то, насколько меняется эта цена: один и тот же текст, который стоит центы в лёгкой модели, в топовой стоит в десятки раз дороже. Для простой задачи эта разница, деньги, выброшенные каждый месяц.
Инструмент оценивает токены в вашем тексте, добавляет ожидаемый объём ответа и применяет публичную цену каждой модели. Список отсортирован от самой дешёвой к самой дорогой, а модели с открытыми весами отмечены, потому что их можно запускать самостоятельно.
- 01
Вы вставляете текст
Промпт, документ, расшифровка, что угодно. Ничего не покидает браузер: подсчёт выполняется прямо здесь.
- 02
Вы задаёте длину ответа
Выходные данные обычно стоят в три-пять раз дороже входных, поэтому их игнорирование занижает счёт вдвое.
- 03
Сравнение выходит отсортированным по цене
От дешёвого к дорогому, полоса показывает реальное расстояние между ними.
- 01
Что вообще такое токен?
- Это единица, в которой модель читает и пишет, обычно часть слова. В португальском обычное слово обычно составляет от одного до двух токенов. В китайском или японском один символ уже обычно равен целому токену, поэтому тот же контент обходится дороже на этих языках.
- 02
Подсчёт точный?
- Нет, и ни одна оценка, не использующая официальный токенизатор каждой модели, такой не будет. Каждое семейство токенизирует по своему. Оценка здесь откалибрована по тексту и служит для расчёта стоимости и контекста, для закрытия счёта используйте число, которое провайдер возвращает в ответе API.
- 03
Мой текст отправляется на сервер?
- Нет. Подсчёт и расчёт происходят целиком в вашем браузере. Именно поэтому сюда можно вставить документ, который вы не вставили бы в инструмент, загружающий содержимое.
- 04
Почему вход и выход стоят по-разному?
- Потому что генерировать дороже, чем читать. Модель обрабатывает входные данные за один раз, но создаёт выходные токен за токеном, и именно эта генерация требует больше вычислений. Поэтому выходные данные обычно стоят в три-пять раз дороже входных.
- 05
Дорогая модель всегда лучше?
- Не для каждой задачи. Классификацию, извлечение поля и краткое резюме текста хорошо решают лёгкие модели. Оставлять дорогую модель для того, что действительно требует рассуждений, это разница между нормальным счётом и абсурдным счётом в конце месяца.
- 06
Как выбирать на практике, не ставя на одну?
- Маршрутизацией по задаче: простой запрос идёт к дешёвой модели, сложный поднимается выше. Делать это вручную в каждом запросе нереально, это как раз работа модуля Роутер, который выбирает направление и учится на результате.
Разброс цен вы увидели. Кто выбирает адресата?
Выбирать подходящую модель для каждого запроса, это то, что делает модуль Роутер: один ключ для всего рынка, решение принимается по задаче, а не по контракту.