Quanto custa uma resposta correta?

Muitos fornecedores publicam preços, características e avaliações dos próprios modelos. Podemos reunir essas informações com fonte e data, sem fazer chamadas pagas. A tabela de preços desta página vem do catálogo público do OpenRouter. Os resultados das 288 chamadas vêm do teste técnico da Rovemark e estão apresentados separadamente. Resultados de terceiros devem ser atribuídos aos autores, sem serem apresentados como validação nossa.

Quando uma decisão concreta depende de algo que as fontes disponíveis não respondem, como o cumprimento de um formato nas nossas instruções ou o custo de um fluxo específico. Primeiro definimos a pergunta e verificamos os estudos existentes. Se ainda faltar evidência, propomos o menor teste adequado, com critérios e orçamento definidos antes da execução. Um teste com tarefas sintéticas não substitui uma pesquisa sobre produtividade nas empresas.

Ele compara seis modelos neste conjunto de 24 tarefas em português, sob as rotas e configurações registradas. Uma taxa maior aqui não prova superioridade geral. Não testamos toda a escrita, o raciocínio aberto ou os fluxos de trabalho possíveis.

O custo observado ajuda a escolher candidatos para tarefas semelhantes. O conjunto não testa chamadas de ferramentas reais, documentos longos, imagens, dados privados ou todos os controles de segurança de um produto. Uma mudança de modelo em produção precisa de avaliação no fluxo em que ele será usado.

Preço por token não informa quantos tokens o modelo vai consumir nem quantas respostas serão aproveitáveis. Dividimos o gasto de todas as tentativas pelo número das que passaram no critério. As respostas erradas também custam e entram no total.

São 24 tarefas, cada uma repetida duas vezes. As repetições ajudam a observar variação, mas não ampliam a diversidade para 48 problemas independentes. Os resultados são descritivos; não publicamos intervalos de confiança ou significância estatística para uma população de tarefas.

Na consulta aos endpoints, quatro das seis rotas não declararam suporte ao parâmetro temperature. Nelas, omitimos o ajuste e registramos o padrão do provedor. Nas outras duas, usamos zero. O limite de saída foi de 700 tokens para todos. Temperatura e esforço de raciocínio de famílias diferentes não são presumidos equivalentes.

A seção de inspeção mostra a solicitação, a referência e as duas respostas do modelo. A aprovação exige os mesmos valores e chaves no objeto JSON; a ordem das chaves e uma eventual cerca de código JSON são ignoradas. Os dados completos preservam respostas reprovadas e falhas de API.

Os arquivos exatos da execução, o protocolo, as respostas de referência, a semente de ordenação e os resultados estão disponíveis para download. Uma nova execução exige sua própria credencial e orçamento. Disponibilidade, preços e comportamento dos provedores podem mudar, mesmo mantendo o identificador do modelo.

O custo de inferência é apenas uma parte da operação. Taxas, impostos, câmbio, infraestrutura e revisão humana ficam fora deste indicador. O teste não mede produtividade de empresas. O protocolo separado de produção e revisão com empresas continua sem resultados próprios publicados.