¿Cuánto cuesta una respuesta correcta?

Muchos proveedores publican precios, características y reseñas de sus propios modelos. Podemos recopilar esta información con fuente y fecha, sin realizar llamadas pagas. La lista de precios de esta página proviene del catálogo público OpenRouter. Los resultados de las llamadas 288 provienen de la prueba técnica del Rovemark y se presentan por separado. Los resultados de terceros deben atribuirse a los autores, sin que se presenten como nuestra validación.

Cuando una decisión concreta depende de algo que las fuentes disponibles no responden, como el cumplimiento de un formato en nuestras instrucciones o el coste de un flujo concreto. Primero definimos la pregunta y verificamos los estudios existentes. Si aún faltan pruebas, proponemos la prueba más pequeña adecuada, con criterios y presupuesto definidos antes de la ejecución. Un test con tareas sintéticas no sustituye a la investigación sobre productividad en las empresas.

Compara seis modelos en este conjunto de tareas 24 en portugués, bajo las rutas y configuraciones registradas. Una tasa más alta en este caso no demuestra superioridad general. No probamos toda la escritura, el pensamiento abierto o los flujos de trabajo posibles.

El costo observado ayuda a elegir candidatos para tareas similares. La suite no prueba llamadas de herramientas reales, documentos extensos, imágenes, datos privados ni todos los controles de seguridad de un producto. Un cambio de modelo en producción necesita una evaluación del flujo en el que se utilizará.

El precio por token no indica cuántos tokens consumirá el modelo ni cuántas respuestas se podrán utilizar. Dividimos el gasto de todos los intentos por el número de aquellos que superaron el criterio. Las respuestas incorrectas también cuestan y se incluyen en el total.

Hay 24 tareas, cada una repetida dos veces. Las repeticiones ayudan a observar la variación, pero no amplían la diversidad a 48 problemas independientes. Los resultados son descriptivos; No publicamos intervalos de confianza ni significación estadística para una población de tareas.

Al consultar los puntos finales, cuatro de las seis rutas no declararon compatibilidad con el parámetro temperature. En ellos omitimos el ajuste y registramos el incumplimiento del proveedor. En los otros dos usamos cero. El límite de salida eran tokens 700 para todos. No se supone que la temperatura y el esfuerzo de razonamiento de diferentes familias sean equivalentes.

La sección de inspección muestra la solicitud del modelo, la referencia y dos respuestas. La aprobación requiere los mismos valores y claves en el objeto JSON; se ignora el orden de las claves y cualquier posible valla de código JSON. Los datos completos conservan las respuestas fallidas y los fallos API.

Los archivos de ejecución exactos, el protocolo, las respuestas de referencia, la semilla de clasificación y los resultados están disponibles para descargar. Una nueva ejecución requiere sus propias credenciales y presupuesto. La disponibilidad, los precios y el comportamiento del proveedor pueden cambiar, incluso manteniendo el identificador del modelo.

El coste de inferencia es sólo una parte de la operación. Se excluyen de este indicador tarifas, impuestos, tipos de cambio, infraestructura y revisión humana. La prueba no mide la productividad de la empresa. El protocolo de producción y revisión por separado con las empresas continúa sin resultados propios publicados.