Hoeveel kost een juist antwoord?

Veel leveranciers publiceren prijzen, kenmerken en recensies van hun eigen modellen. Deze informatie kunnen wij met bron en datum verzamelen, zonder betaald te bellen. De prijslijst op deze pagina komt uit de OpenRouter openbare catalogus. De resultaten van de 288-oproepen komen uit de technische test van de Rovemark en worden afzonderlijk gepresenteerd. Resultaten van derden moeten aan de auteurs worden toegeschreven, zonder dat ze als onze validatie worden gepresenteerd.

Wanneer een concrete beslissing afhangt van iets waar de beschikbare bronnen geen antwoord op geven, zoals het naleven van een format in onze instructies of de kosten van een specifieke stroom. We definiëren eerst de vraag en controleren bestaande onderzoeken. Als er nog steeds geen bewijs is, stellen we de kleinste geschikte test voor, waarbij de criteria en het budget vóór de uitvoering worden gedefinieerd. Een test met synthetische taken vervangt onderzoek naar productiviteit in bedrijven niet.

Het vergelijkt zes modellen in deze set 24-taken in het Portugees, onder de geregistreerde routes en configuraties. Een hoger tarief bewijst hier geen algehele superioriteit. We testen niet alle mogelijke schrijfwijzen, open denkwijzen of workflows.

De waargenomen kosten helpen bij het kiezen van kandidaten voor soortgelijke taken. De suite test geen daadwerkelijke tooloproepen, lange documenten, afbeeldingen, privégegevens of alle beveiligingscontroles van een product. Een modelwijziging in de productie vereist evaluatie van de stroom waarin deze zal worden gebruikt.

De prijs per token vertelt u niet hoeveel tokens het model zal verbruiken of hoeveel reacties bruikbaar zullen zijn. We delen de kosten van alle pogingen door het aantal pogingen dat aan het criterium voldoet. Verkeerde antwoorden kosten ook kosten en worden bij het totaal opgeteld.

Er zijn 24 taken, die elk twee keer worden herhaald. Herhalingen helpen variatie te observeren, maar breiden de diversiteit niet uit naar 48 onafhankelijke problemen. De resultaten zijn beschrijvend; We publiceren geen betrouwbaarheidsintervallen of statistische significantie voor een populatie van taken.

Bij het opvragen van de eindpunten verklaarden vier van de zes routes geen ondersteuning voor de parameter temperature. Daarin laten we de aanpassing achterwege en leggen we de wanprestatie van de aanbieder vast. In de andere twee gebruiken we nul. De uitstaplimiet was 700-tokens voor iedereen. Er wordt niet aangenomen dat de temperatuur en de redeneerinspanning van verschillende gezinnen gelijkwaardig zijn.

In het inspectiegedeelte worden het verzoek, de referentie en twee antwoorden van het model weergegeven. Voor goedkeuring zijn dezelfde waarden en sleutels nodig in het JSON-object; de volgorde van de toetsen en eventuele code-afrastering JSON worden genegeerd. Volledige gegevens behouden mislukte reacties en API-fouten.

De exacte runbestanden, het protocol, de referentiereacties, het sorteerzaad en de resultaten kunnen worden gedownload. Een nieuwe run vereist zijn eigen referenties en budget. Beschikbaarheid, prijzen en providergedrag kunnen veranderen, zelfs als de model-ID behouden blijft.

De gevolgtrekkingskosten vormen slechts een deel van de operatie. Vergoedingen, belastingen, wisselkoersen, infrastructuur en menselijke beoordeling zijn uitgesloten van deze indicator. De test meet de productiviteit van bedrijven niet. Het aparte productie- en reviewprotocol met bedrijven gaat door zonder eigen gepubliceerde resultaten.