Wie viel kostet eine richtige Antwort?

Viele Anbieter veröffentlichen Preise, Features und Testberichte ihrer eigenen Modelle. Wir können diese Informationen mit Quelle und Datum sammeln, ohne kostenpflichtige Anrufe tätigen zu müssen. Die Preisliste auf dieser Seite stammt aus dem öffentlichen Katalog OpenRouter. Die Ergebnisse der 288-Aufrufe stammen aus dem technischen Test des Rovemark und werden separat dargestellt. Ergebnisse Dritter müssen den Autoren zugeschrieben werden, ohne dass sie als unsere Validierung dargestellt werden.

Wenn eine konkrete Entscheidung von etwas abhängt, auf das die verfügbaren Quellen keine Antwort geben, beispielsweise der Einhaltung eines Formats in unseren Anweisungen oder den Kosten eines bestimmten Ablaufs. Wir definieren zunächst die Fragestellung und prüfen vorhandene Studien. Sollten dennoch Nachweise fehlen, schlagen wir den kleinsten geeigneten Test vor, wobei Kriterien und Budget vor der Durchführung festgelegt werden. Ein Test mit synthetischen Aufgaben ersetzt keine Forschung zur Produktivität in Unternehmen.

Es vergleicht sechs Modelle in diesem Satz von 24-Aufgaben auf Portugiesisch unter den registrierten Routen und Konfigurationen. Eine höhere Quote beweist hier keine Gesamtüberlegenheit. Wir testen nicht alle möglichen Schreibweisen, offenen Denkweisen oder Arbeitsabläufe.

Die beobachteten Kosten helfen bei der Auswahl von Kandidaten für ähnliche Aufgaben. Die Suite testet keine tatsächlichen Toolaufrufe, lange Dokumente, Bilder, private Daten oder alle Sicherheitskontrollen eines Produkts. Eine Modelländerung in der Produktion erfordert eine Bewertung des Ablaufs, in dem sie verwendet wird.

Der Preis pro Token gibt keinen Aufschluss darüber, wie viele Token das Modell verbrauchen wird oder wie viele Antworten verwendbar sein werden. Wir dividieren die Kosten aller Versuche durch die Anzahl derjenigen, die das Kriterium bestanden haben. Falsche Antworten kosten ebenfalls Kosten und sind in der Gesamtsumme enthalten.

Dabei handelt es sich um 24-Aufgaben, die jeweils zweimal wiederholt werden. Wiederholungen helfen bei der Beobachtung von Variationen, erweitern die Diversität jedoch nicht auf unabhängige 48-Probleme. Die Ergebnisse sind beschreibend; Wir veröffentlichen keine Konfidenzintervalle oder statistische Signifikanz für eine Aufgabenpopulation.

Bei der Abfrage der Endpunkte gaben vier der sechs Routen keine Unterstützung für den Parameter temperature an. Darin unterlassen wir die Anpassung und erfassen die Vorgabe des Anbieters. In den anderen beiden Fällen verwenden wir Null. Das Ausstiegslimit betrug 700-Token für alle. Es wird nicht davon ausgegangen, dass Temperatur und Denkanstrengung verschiedener Familien gleichwertig sind.

Im Abschnitt „Inspektion“ werden die Anfrage, die Referenz und zwei Antworten des Modells angezeigt. Für die Genehmigung sind dieselben Werte und Schlüssel im JSON-Objekt erforderlich. Die Reihenfolge der Schlüssel und ein eventueller Codezaun JSON werden ignoriert. Vollständige Daten bewahren fehlgeschlagene Antworten und API-Fehler.

Die genauen Laufdateien, das Protokoll, die Referenzantworten, die Sortierung und die Ergebnisse stehen zum Download zur Verfügung. Für einen neuen Lauf sind eigene Qualifikationen und ein eigenes Budget erforderlich. Verfügbarkeit, Preise und Anbieterverhalten können sich ändern, auch wenn die Modellkennung beibehalten wird.

Die Inferenzkosten sind nur ein Teil der Operation. Gebühren, Steuern, Wechselkurse, Infrastruktur und menschliche Überprüfung sind von diesem Indikator ausgeschlossen. Der Test misst nicht die Unternehmensproduktivität. Das separate Produktions- und Überprüfungsprotokoll mit Unternehmen wird ohne eigene veröffentlichte Ergebnisse fortgesetzt.