Combien coûte une bonne réponse ?

De nombreux fournisseurs publient les prix, les caractéristiques et les avis de leurs propres modèles. Nous pouvons recueillir ces informations avec la source et la date, sans passer d'appels payants. La liste de prix sur cette page provient du catalogue public OpenRouter. Les résultats des appels 288 proviennent du test technique du Rovemark et sont présentés séparément. Les résultats de tiers doivent être attribués aux auteurs, sans être présentés comme notre validation.

Lorsqu'une décision concrète dépend de quelque chose auquel les sources disponibles ne répondent pas, comme le respect d'un format dans nos instructions ou le coût d'un flux spécifique. Nous définissons d’abord la question et vérifions les études existantes. Si les preuves font encore défaut, nous proposons le plus petit test approprié, avec des critères et un budget définis avant exécution. Un test avec des tâches synthétiques ne remplace pas la recherche sur la productivité en entreprise.

Il compare six modèles dans cet ensemble de tâches 24 en portugais, sous les itinéraires et configurations enregistrés. Un taux plus élevé ne prouve pas ici une supériorité globale. Nous ne testons pas toutes les écritures, pensées ouvertes ou flux de travail possibles.

Le coût observé permet de choisir des candidats pour des tâches similaires. La suite ne teste pas les appels d'outils réels, les documents longs, les images, les données privées ou tous les contrôles de sécurité d'un produit. Un changement de modèle de production nécessite une évaluation du flux dans lequel il sera utilisé.

Le prix par jeton ne vous indique pas combien de jetons le modèle consommera ni combien de réponses seront utilisables. Nous divisons le coût de toutes les tentatives par le nombre de celles qui ont satisfait au critère. Les mauvaises réponses coûtent également cher et sont incluses dans le total.

Ce sont des tâches 24, chacune répétée deux fois. Les répétitions aident à observer la variation, mais n'étendent pas la diversité aux problèmes indépendants 48. Les résultats sont descriptifs ; Nous ne publions pas d’intervalles de confiance ni de signification statistique pour une population de tâches.

Lors de l'interrogation des points de terminaison, quatre des six routes n'ont pas déclaré la prise en charge du paramètre temperature. Dans ceux-ci, nous omettons l'ajustement et enregistrons le défaut du fournisseur. Dans les deux autres, nous utilisons zéro. La limite de sortie était de jetons 700 pour tout le monde. La température et l'effort de raisonnement des différentes familles ne sont pas supposés être équivalents.

La section d'inspection affiche la demande du modèle, la référence et deux réponses. L'approbation nécessite les mêmes valeurs et clés dans l'objet JSON ; l'ordre des clés et toute éventuelle barrière de code JSON sont ignorés. Les données complètes préservent les réponses ayant échoué et les échecs API.

Les fichiers d'exécution exacts, le protocole, les réponses de référence, les graines de tri et les résultats sont disponibles en téléchargement. Une nouvelle course nécessite ses propres références et son propre budget. La disponibilité, les tarifs et le comportement des fournisseurs peuvent changer, même en conservant l'identifiant du modèle.

Le coût d’inférence n’est qu’une partie de l’opération. Les frais, taxes, taux de change, infrastructures et examen humain sont exclus de cet indicateur. Le test ne mesure pas la productivité de l’entreprise. Le protocole séparé de production et d’examen avec les entreprises se poursuit sans que ses propres résultats soient publiés.