Публичные данные
Цены и характеристики указаны в каталоге OpenRouter. Тесты производительности, выпущенные поставщиками или другими исследователями, должны поддерживать указание источника, версию и метод.
Посмотреть опубликованные ценыТехническая оценка · RVMR-B01
Сколько стоит правильный ответ?
Ознакомьтесь с общедоступными ценами на модели и отдельно с результатами нашего технического теста. Определены источники, даты и пределы каждой информации.
Опубликованные цены и измеренные результаты имеют различное происхождение.
С ценами и характеристиками моделей можно ознакомиться в открытых источниках. В наш тест добавлено измерение синтетических задач 24; нет необходимости сверяться с ценами и не измерять прирост производительности компании.
Откуда берутся данные
Rovemark Технический тест
Ответы, время и затраты, сообщаемые API в вызовах 288 с синтетическими данными. Результаты ограничены зарегистрированными задачами и настройками.
Посмотреть результаты тестаПоиск по компаниям
Протокол создания и проверки контента открыт для регистрации. Опубликованных результатов о влиянии на работу компаний до сих пор нет.
Узнайте об исследованииНачнем с доступных источников. Конкретный тест предлагается только в том случае, если есть конкретный вопрос, на который они не отвечают. Перед выполнением мы определяем вопрос, критерии оценки и бюджет.
Опубликованные цены на модели
Консультация. Это реестр, используемый при тестировании, без автоматического обновления.
Цены входа и выхода за миллион токенов в USD, без конвертации валюты. В столбце маршрута показаны объявленные цены поставщика, запрошенного в тесте, с отключенным резервным вариантом. Это не цена, взимаемая Rovemark с клиента. Другие поля, такие как кэш и плата за запрос, находятся в используемом файле; они не включены в эту таблицу ввода и вывода.
| Модель и версия | Каталог: ввод/вывод | Запрашиваемый маршрут: вход/выход |
|---|---|---|
DeepSeek: DeepSeek V4.1 Flashdeepseek/deepseek-v4.1-flash-20260910 | USD 0,0173 / 0,8 | USD 0,09 / 0,18decart/fp4 |
OpenAI: GPT-6 Lunaopenai/gpt-6-luna-20260922 | USD 0,1 / 0,5 | USD 0,1 / 0,5openai |
Anthropic: Claude Haiku 5.5anthropic/claude-haiku-5.5-20261007 | USD 0,1 / 0,5 | USD 0,1 / 0,5google-vertex/global |
Google: Gemini 4 Argongoogle/gemini-4-argon-20261013 | USD 2 / 10 | USD 2 / 10google-vertex/global |
Anthropic: Claude Sonnet 5.5anthropic/claude-sonnet-5.5-20260928 | USD 2 / 10 | USD 2 / 10google-vertex/global |
Anthropic: Claude Opus 5.5anthropic/claude-opus-5.5-20260921 | USD 4 / 20 | USD 4 / 20amazon-bedrock |
Выбор поиска не влияет на модели Rovemark или таблицу выставления счетов. План фиксированный поставщиком и ценовым лимитом перед исполнением, с блокировкой сбора данных в настройках маршрутизации.
Как мы оцениваем техническое тестирование
Версия 1.0.1Ответ одобрен
Каждая из задач 24 имеет проверяемую ссылку. При оценке сравнивается полученный JSON с ожидаемым ответом, включая пропущенные значения и отказы от выполнения действий без авторизации.
Стоимость за одобрение
Стоимость всех попыток, включая неправильные, делится на одобренные. Без одобрения или отсутствия usage.cost при любой попытке мы не рассчитываем стоимость каждого утверждения.
Время и неудачи
Мы публикуем медиану и процентиль 95 времени, наблюдаемого клиентом, а также ошибки и недействительные ответы. Время включает сеть и зависит от провайдера и даты.
Наблюдаемые результаты
15/10/2026 · RVMR-B01 v 1.0.1Выполнение завершено: 288 из 288 попытки
Те же синтетические задания 24, по два повтора на модель. Тарифы описывают этот набор на португальском языке в соответствии с параметрами и зарегистрированными поставщиками. Для утверждения требуются правильные значения и формат JSON; это не изолированный показатель фактической точности. Тест не измеряет производительность компании или полную мощность каждой модели.
О расходах сообщил API. Ожидается индивидуальное примирение.
Затраты сообщаются ответами API с совокупной проверкой количества вызовов на панели. Мы не представляем отдельные расходы как сверенные. Никаких новых выводов для изучения разницы сделано не было.
GPT-6 Luna имел самую низкую стоимость утверждения в этой выборке, очень близкую к DeepSeek V4.1 Flash. У Haiku 5.5 было самое низкое среднее время. Пять моделей соответствовали критерию испытаний 48 48. Три отклонения Sonnet 5.5 были вызваны объяснением, полученным за пределами JSON; пересмотренные числовые значения были правильными.
285/288попытки одобрены в вырезе
USD 0,13801444заявленная стоимость всех попыток отсечения
24 задачиотчетливые случаи в разрезе; повторения не являются независимыми
Выберите полосу, чтобы просмотреть ответы этой модели ниже. По показателям времени и затрат более низкие значения лучше. Время включает в себя испытания сети и ошибок; быстрый сбой не приводит к повышению производительности.
| Модель | Разрешения | Ошибки API | Заявленная стоимость | Стоимость указана после утверждения | Медиана / p95 |
|---|---|---|---|---|---|
| OpenAI: GPT-6 LunaЗапрошенный маршрут: openai | 48/48100% | 0 | USD 0,0017915 | USD 0,00003732 | 2,01с / 2,93с |
| DeepSeek: DeepSeek V4.1 FlashЗапрошенный маршрут: decart/fp4 | 48/48100% | 0 | USD 0,00182934 | USD 0,00003811 | 2,93с / 8,99с |
| Anthropic: Claude Haiku 5.5Запрошенный маршрут: google-vertex/global | 48/48100% | 0 | USD 0,0020076 | USD 0,00004182 | 1,1с / 2,09с |
| Google: Gemini 4 ArgonЗапрошенный маршрут: google-vertex/global | 48/48100% | 0 | USD 0,0229 | USD 0,00047708 | 2,6с / 3,88с |
| Anthropic: Claude Sonnet 5.5Запрошенный маршрут: google-vertex/global | 45/4893,8% | 0 | USD 0,035462 | USD 0,00078804 | 1,31с / 2,64с |
| Anthropic: Claude Opus 5.5Запрошенный маршрут: amazon-bedrock | 48/48100% | 0 | USD 0,074024 | USD 0,00154217 | 1,62с / 4,3с |
Значения usage.cost, указанные в ответах OpenRouter, в USD. Индивидуальная внешняя сверка еще не завершена и не заменена оценкой долга. Включает неправильные и неудачные попытки при взимании платы. Они не включают покупку кредитов, налоги, обменные курсы, инфраструктуру или человеческие затраты на рассмотрение. Если usage.cost отсутствует при любой попытке, сообщаемые итоги становятся недоступными. Это отделено от внешней сверки отчета, отмеченного выше.
Посмотрите, что ответила каждая модель
При проверке используются модели и задачи, выбранные ниже, независимо от обрезки диаграммы.
Исходные запросы и ответы, приведенные ниже, составлены на португальском языке, языке исполнения. Трансляция интерфейса не меняет записи испытаний.
Справочный запрос и ответ
Extraia da nota: Empresa Sol, total R$ 1.249,90, vencimento 15/11/2026. Retorne {"company":string,"total_cents":number,"due":AAAA-MM-DD}.
Responda somente com o objeto JSON pedido. Não acrescente chaves, explicações ou markdown.{
"company": "Empresa Sol",
"total_cents": 124990,
"due": "2026-11-15"
}Повторение 1Aprovada
{"company":"Empresa Sol","total_cents":124990,"due":"2026-11-15"}USD 0,00003753 · 2,66с температура 0
Провайдер сообщил: Decart · запрашиваемый маршрут: decart/fp4
Повторение 2Aprovada
{"company":"Empresa Sol","total_cents":124990,"due":"2026-11-15"}USD 0,00003753 · 2,97с температура 0
Провайдер сообщил: Decart · запрашиваемый маршрут: decart/fp4
Неудачи и неудачные ответы
3 из 288 попытки не соответствовали критерию. Сбои транспорта, проблемы формата и несоответствия содержания идентифицируются отдельно, если они отмечены. Три сбоя этого запуска заключались в дополнительном тексте за пределами JSON: более поздняя ручная проверка подтвердила, что числовые значения в этих случаях соответствовали ссылке. Этот обзор не изменил первоначальные оценки критериев.
Проверьте задачи
Во всех случаях используется синтетическая информация. Всего есть четыре группы: добыча, использование источников, бизнес-расчеты и следование инструкциям.
Запрос
Исходный запрос на португальском языке
Extraia da nota: Empresa Sol, total R$ 1.249,90, vencimento 15/11/2026. Retorne {"company":string,"total_cents":number,"due":AAAA-MM-DD}.
Responda somente com o objeto JSON pedido. Não acrescente chaves, explicações ou markdown.Ссылка на одобрение
{
"company": "Empresa Sol",
"total_cents": 124990,
"due": "2026-11-15"
}Метод и ограничения
План определял два повторения для каждой задачи и модели. Повторение одних и тех же случаев не создает независимых задач 48. Ордер был перетасован с зарегистрированным начальным числом, лимитом выхода, ценой и общими расходами. Отправленные платные звонки не были автоматически повторены.
Точный проход измеряет узкий набор задач с закрытыми ответами. Он не измеряет литературное качество, полную интеллектуальность модели или влияние ИИ на производительность компании. Мы не используем другую модель в качестве судьи и не активируем режим JSON или схему ответа поставщика. Соблюдение формата оцениваем по инструкции в подсказке. Использование структурированного вывода может изменить это поведение и здесь не тестировалось. Порядок ключей и любая возможная граница кода JSON игнорируются; значения и набор ключей должны соответствовать ссылке.
Записи идентифицируют модель, запрошенный маршрут, информированного поставщика, параметры, дату и фактическое потребление. Четыре из шести маршрутов не обеспечивают регулировку температуры: в этих случаях этот параметр опущен. В двух других мы используем нулевую температуру. Усилия по рассуждению и стандартное поведение могут различаться в разных семьях; мы не предполагаем эквивалентные параметры. Потолок вывода во всех попытках составлял токены 700. Ставки покупки кредита, налоги, обменные курсы и инфраструктура не входят в стоимость вывода и должны учитываться при принятии коммерческих решений.
Rovemark разрабатывает продукты искусственного интеллекта и имеет коммерческий интерес к этой технологии. Протокол, синтетические записи, код и файлы точного запуска доступны для независимого просмотра. После начала звонков дела не изменились.
Тестовые вопросы
Os preços e benchmarks dos fornecedores já são públicos?
Многие поставщики публикуют цены, характеристики и обзоры собственных моделей. Мы можем собрать эту информацию с указанием источника и даты, не совершая платных звонков. Прайс-лист на этой странице взят из публичного каталога OpenRouter. Результаты вызовов 288 получены в результате технического теста Rovemark и представлены отдельно. Результаты третьих сторон должны быть приписаны авторам и не представлены в качестве нашей проверки.
Quando vale a pena fazer um teste próprio?
Когда конкретное решение зависит от чего-то, на что не отвечают доступные источники, например, от соблюдения формата в наших инструкциях или стоимости конкретного потока. Сначала мы определяем вопрос и проверяем существующие исследования. Если доказательства по-прежнему отсутствуют, мы предлагаем наименьший подходящий тест с критериями и бюджетом, определенным перед его выполнением. Тест с синтетическими заданиями не заменяет исследование производительности в компаниях.
Este teste escolhe o melhor modelo de IA?
Он сравнивает шесть моделей в этом наборе задач 24 на португальском языке по зарегистрированным маршрутам и конфигурациям. Более высокий показатель здесь не доказывает общего превосходства. Мы не проверяем все возможные варианты письма, непредвзятого мышления или рабочих процессов.
O modelo mais barato pode cuidar de qualquer tarefa?
Наблюдаемая стоимость помогает выбирать кандидатов для выполнения аналогичных задач. Пакет не тестирует реальные вызовы инструментов, длинные документы, изображения, личные данные или все элементы управления безопасностью продукта. Изменение модели в производстве требует оценки потока, в котором она будет использоваться.
Por que medir custo por aprovação?
Цена за токен не сообщает, сколько токенов будет потреблять модель и сколько ответов можно будет использовать. Делим стоимость всех попыток на количество прошедших критерий. Неправильные ответы также оплачиваются и включаются в общую сумму.
São 48 tarefas diferentes por modelo?
Есть задания 24, каждое повторяется дважды. Повторения помогают наблюдать вариации, но не расширяют разнообразие до независимых 48 проблем. Результаты носят описательный характер; Мы не публикуем доверительные интервалы или статистическую значимость для совокупности задач.
Por que o ajuste de temperatura varia?
При запросе конечных точек четыре из шести маршрутов не заявили о поддержке параметра temperature. В них мы опускаем настройку и записываем дефолт провайдера. В двух других мы используем ноль. Лимит выхода составлял токены 700 для всех. Температура и мыслительные усилия разных семей не считаются эквивалентными.
Como sei por que uma resposta foi reprovada?
В разделе проверки показаны запрос модели, ссылка и два ответа. Для одобрения необходимы те же значения и ключи в объекте JSON; порядок ключей и любая возможная граница кода JSON игнорируются. В полных данных сохраняются неудавшиеся ответы и ошибки API.
Posso reproduzir o teste?
Точные файлы запуска, протокол, эталонные ответы, начальное число сортировки и результаты доступны для загрузки. Новый запуск требует собственных полномочий и бюджета. Доступность, цены и поведение поставщика могут измениться даже при сохранении идентификатора модели.
Isso comprova lucro ou ganho de produtividade?
Стоимость вывода — это лишь одна часть операции. Сборы, налоги, обменные курсы, инфраструктура и человеческий контроль исключены из этого показателя. Тест не измеряет производительность компании. Отдельный протокол производства и проверки с компаниями продолжается без опубликованных результатов.