正解するのにいくらかかりますか?

多くのサプライヤーは、自社モデルの価格、機能、レビューを公開しています。有料通話を行わなくても、この情報をソースと日付とともに収集できます。このページの価格表は OpenRouter 公開カタログからのものです。 288 呼び出しの結果は、Rovemark の技術テストから得られたものであり、別個に示されています。第三者による結果は、当社による検証として提示されることなく、著者に帰属するものでなければなりません。

具体的な決定が、当社の指示にある形式への準拠や特定のフローのコストなど、利用可能な情報源では答えられていないものに依存する場合。まず質問を定義し、既存の研究を確認します。それでも証拠が不足している場合は、実行前に基準と予算を定義して、最小限の適切なテストを提案します。合成タスクを使用したテストは、企業の生産性に関する研究に代わるものではありません。

登録されたルートと構成に基づいて、ポルトガル語の 24 タスク セットの 6 つのモデルを比較します。ここでのレートが高いことは、全体的な優位性を証明するものではありません。私たちは、考えられるすべての文章、自由な発想、ワークフローをテストするわけではありません。

観察されたコストは、同様のタスクの候補を選択するのに役立ちます。このスイートでは、実際のツール呼び出し、長いドキュメント、画像、プライベート データ、または製品のセキュリティ制御のすべてはテストされません。生産におけるモデルチェンジには、どのようなフローで使用されるかを評価する必要があります。

トークンあたりの価格からは、モデルが消費するトークンの数や使用可能な応答の数はわかりません。すべての試行の費用を基準に合格した試行の数で割ります。不正解も費用がかかり、合計に含まれます。

これらは 24 タスクであり、それぞれ 2 回繰り返されます。繰り返しは変動を観察するのに役立ちますが、多様性を 48 の独立した問題に拡張することはできません。結果は説明的です。タスクの母集団に対する信頼区間や統計的有意性は公表しません。

エンドポイントをクエリすると、6 つのルートのうち 4 つが temperature パラメーターのサポートを宣言していませんでした。それらでは、調整を省略し、プロバイダーのデフォルトを記録します。他の 2 つはゼロを使用します。終了制限は全員の 700 トークンでした。異なる家族の温度と推論努力が同等であるとは想定されていません。

検査セクションには、モデルのリクエスト、参照、および 2 つの応答が表示されます。承認には、JSON オブジェクト内の同じ値とキーが必要です。キーの順序と考えられるコード フェンス JSON は無視されます。完全なデータには、失敗した応答と API 失敗が保存されます。

正確な実行ファイル、プロトコル、参照応答、ソート シード、および結果をダウンロードできます。新しい実行には独自の認証情報と予算が必要です。モデル識別子が維持されている場合でも、可用性、価格設定、プロバイダーの動作は変更される場合があります。

推論コストは操作の一部にすぎません。手数料、税金、為替レート、インフラストラクチャ、人間によるレビューはこの指標から除外されます。このテストは企業の生産性を測定するものではありません。企業との個別の作成およびレビュープロトコルは、独自の結果が公表されることなく継続されています。