Quanto costa una risposta corretta?

Molti fornitori pubblicano prezzi, caratteristiche e recensioni dei propri modelli. Possiamo raccogliere queste informazioni con fonte e data, senza effettuare chiamate a pagamento. Il listino prezzi presente in questa pagina proviene dal catalogo pubblico OpenRouter. I risultati dei bandi 288 provengono dal test tecnico del Rovemark e sono presentati separatamente. I risultati di terze parti devono essere attribuiti agli autori, senza essere presentati come nostra convalida.

Quando una decisione concreta dipende da qualcosa a cui le fonti disponibili non rispondono, come il rispetto di un formato nelle nostre istruzioni o il costo di un flusso specifico. Per prima cosa definiamo la domanda e controlliamo gli studi esistenti. Se mancano ancora le prove, proponiamo il test più piccolo e appropriato, con criteri e budget definiti prima dell'esecuzione. Un test con compiti sintetici non sostituisce la ricerca sulla produttività nelle aziende.

Confronta sei modelli in questa serie di attività 24 in portoghese, in base ai percorsi e alle configurazioni registrate. Un tasso più elevato in questo caso non dimostra una superiorità complessiva. Non testiamo tutta la scrittura possibile, il pensiero aperto o i flussi di lavoro.

Il costo osservato aiuta a scegliere i candidati per compiti simili. La suite non testa le chiamate effettive degli strumenti, i documenti lunghi, le immagini, i dati privati ​​o tutti i controlli di sicurezza di un prodotto. Un cambiamento del modello nella produzione necessita di una valutazione del flusso in cui verrà utilizzato.

Il prezzo per token non indica quanti token consumerà il modello o quante risposte saranno utilizzabili. Dividiamo la spesa di tutti i tentativi per il numero di quelli che hanno superato il criterio. Anche le risposte sbagliate costano e sono incluse nel totale.

Queste sono attività 24, ciascuna ripetuta due volte. Le ripetizioni aiutano a osservare la variazione, ma non espandono la diversità a problemi 48 indipendenti. I risultati sono descrittivi; Non pubblichiamo intervalli di confidenza o significatività statistica per una popolazione di compiti.

Durante l'interrogazione degli endpoint, quattro dei sei percorsi non hanno dichiarato il supporto per il parametro temperature. In essi omettiamo l'adeguamento e registriamo l'impostazione predefinita del fornitore. Negli altri due usiamo zero. Il limite di uscita era costituito dai token 700 per tutti. Non si presume che la temperatura e lo sforzo di ragionamento di famiglie diverse siano equivalenti.

La sezione di ispezione mostra la richiesta del modello, il riferimento e due risposte. L'approvazione richiede gli stessi valori e chiavi nell'oggetto JSON; l'ordine delle chiavi e l'eventuale recinzione del codice JSON vengono ignorati. I dati completi conservano le risposte non riuscite e gli errori API.

I file esatti della corsa, il protocollo, le risposte di riferimento, il seme di ordinamento e i risultati sono disponibili per il download. Una nuova corsa richiede credenziali e budget propri. La disponibilità, i prezzi e il comportamento del fornitore possono cambiare, anche mantenendo l'identificatore del modello.

Il costo dell’inferenza è solo una parte dell’operazione. Tasse, tasse, tassi di cambio, infrastrutture e revisione umana sono esclusi da questo indicatore. Il test non misura la produttività aziendale. Il protocollo separato di produzione e revisione con le aziende continua senza la pubblicazione dei propri risultati.