Rovemark Research

التقييم الفني · RVMR-B01

كم تكلفة الإجابة الصحيحة؟

راجع الأسعار العامة للنماذج، وبشكل منفصل، نتائج الاختبار الفني لدينا. ويتم تحديد مصادر وتواريخ وحدود كل معلومة.

الأسعار المنشورة والنتائج المقاسة لها أصول مختلفة.

يمكن الاطلاع على أسعار وخصائص النماذج في المصادر العامة. يضيف اختبارنا قياسًا للمهام التركيبية 24؛ ليس من الضروري استشارة الأسعار ولا قياس مكاسب إنتاجية الشركة.

من أين تأتي البيانات؟

مصدر خارجي

البيانات العامة

الأسعار والخصائص التي تم الإبلاغ عنها من خلال كتالوج OpenRouter. يجب أن تحافظ المعايير الصادرة عن البائعين أو الباحثين الآخرين على إسناد المصدر والإصدار والطريقة.

انظر الأسعار المنشورة
القياس الخاص

الاختبار الفني Rovemark

الردود والوقت والتكاليف التي أبلغت عنها API في مكالمات 288 ذات البيانات الاصطناعية. تقتصر النتائج على المهام والإعدادات المسجلة.

عرض نتائج الاختبار
الدراسة المقترحة

البحث مع الشركات

بروتوكول إنتاج المحتوى ومراجعته مفتوح للتسجيل. ولا توجد حتى الآن نتائج منشورة حول التأثير على عمل الشركات.

تعرف على الدراسة

نبدأ بالمصادر المتاحة. يتم اقتراح اختبار محدد فقط عندما يكون هناك سؤال محدد لا يجيبون عليه. قبل التنفيذ، نحدد السؤال ومعايير التقييم والميزانية.

مصدر خارجي · الكتالوج العام

أسعار النماذج المنشورة

التشاور. هذا هو السجل المستخدم في الاختبار، دون التحديث التلقائي.

أسعار الدخول والخروج لكل مليون رمز في USD، دون تحويل العملة. يعرض عمود المسار الأسعار المعلن عنها للموفر المطلوب في الاختبار، مع تعطيل الخيار الاحتياطي. إنه ليس السعر الذي تفرضه Rovemark على العميل. توجد حقول أخرى، مثل ذاكرة التخزين المؤقت والتكلفة لكل طلب، في الملف الذي تمت الرجوع إليه؛ لم يتم تضمينها في جدول الإدخال والإخراج هذا.

النموذج والإصدارالكتالوج: الإدخال / الإخراجالمسار المطلوب: داخل / خارج
DeepSeek: DeepSeek V4.1 Flashdeepseek/deepseek-v4.1-flash-20260910USD 0.0173 / 0.8USD 0.09 / 0.18decart/fp4
OpenAI: GPT-6 Lunaopenai/gpt-6-luna-20260922USD 0.1 / 0.5USD 0.1 / 0.5openai
Anthropic: Claude Haiku 5.5anthropic/claude-haiku-5.5-20261007USD 0.1 / 0.5USD 0.1 / 0.5google-vertex/global
Google: Gemini 4 Argongoogle/gemini-4-argon-20261013USD 2 / 10USD 2 / 10google-vertex/global
Anthropic: Claude Sonnet 5.5anthropic/claude-sonnet-5.5-20260928USD 2 / 10USD 2 / 10google-vertex/global
Anthropic: Claude Opus 5.5anthropic/claude-opus-5.5-20260921USD 4 / 20USD 4 / 20amazon-bedrock

لا يؤدي تحديد البحث إلى تغيير نماذج Rovemark أو جدول الفواتير. تم تحديد مزود الخدمة والحد الأقصى للسعر قبل التنفيذ، مع حظر جمع البيانات في تفضيلات التوجيه.

كيف نقوم بتقييم الاختبارات الفنية

الإصدار 1.0.1

تمت الموافقة على الإجابة

تحتوي كل مهمة من مهام 24 على مرجع يمكن التحقق منه. يقارن التقييم JSON المستلم مع الاستجابة المتوقعة، بما في ذلك القيم المفقودة ورفض تنفيذ الإجراءات دون إذن.

التكلفة لكل موافقة

يتم تقسيم تكلفة جميع المحاولات، بما في ذلك المحاولات غير الصحيحة، على تلك التي تمت الموافقة عليها. بدون الموافقة أو مع فقدان usage.cost في أي محاولة، لا نقوم بحساب التكلفة المبلغ عنها لكل موافقة.

الوقت والفشل

نقوم بنشر متوسط ونسبة 95 للوقت الذي لاحظه العميل، بالإضافة إلى الأخطاء والاستجابات غير الصالحة. يشمل الوقت الشبكة ويعتمد على المزود والتاريخ.

النتائج المرصودة

15/10/2026 · RVMR-B01 ضد 1.0.1
اكتمل التنفيذ: 288 من 288 محاولات

نفس المهام الاصطناعية 24، تكراران لكل نموذج. تصف الأسعار هذه المجموعة، باللغة البرتغالية، تحت المعلمات ومقدمي الخدمات المسجلين. تتطلب الموافقة قيم وتنسيق JSON الصحيح؛ إنه ليس معدل دقة واقعي معزول. ولا يقيس الاختبار إنتاجية الشركة أو القدرة الكاملة لكل طراز.

التكاليف التي أبلغت عنها API. المصالحة الفردية معلقة.

التكاليف التي تم الإبلاغ عنها من خلال استجابات API، مع التحقق المجمع من عدد المكالمات على اللوحة. نحن لا نقدم التهمة الفردية كما تمت تسويتها. لم يتم إجراء أي استنتاجات جديدة للتحقيق في الفرق.

حصلت GPT-6 Luna على أقل تكلفة تم الإبلاغ عنها لكل موافقة في هذه العينة، وهي قريبة جدًا من DeepSeek V4.1 Flash. كان لـ Haiku 5.5 أدنى متوسط ​​للوقت. استوفت خمسة نماذج المعيار في تجارب 48 الخاصة بـ 48. كانت حالات الرفض الثلاثة لـ Sonnet 5.5 بسبب تفسير خارج JSON؛ وكانت القيم العددية المنقحة صحيحة.

285/288المحاولات المعتمدة في انقطاع
USD 0.13801444التكلفة المبلغ عنها لجميع محاولات القطع
24 المهامحالات مميزة في القطع؛ التكرارات ليست مستقلة
الأصل: 0100%

حدد شريطًا لفحص استجابات هذا النموذج أدناه. في مؤشرات الوقت والتكلفة، القيم الأقل هي الأفضل. يشمل الوقت تجارب الشبكة والأخطاء؛ الفشل السريع لا يدل على أداء أفضل.

نموذجالموافقاتأخطاء APIالتكلفة المبلغ عنهاالتكلفة المبلغ عنها بالموافقةالوسيط / p95
OpenAI: GPT-6 Lunaالمسار المطلوب: openai48/48100%0USD 0.0017915USD 0.000037322.01ق / 2.93ق
DeepSeek: DeepSeek V4.1 Flashالمسار المطلوب: decart/fp448/48100%0USD 0.00182934USD 0.000038112.93ق / 8.99ق
Anthropic: Claude Haiku 5.5المسار المطلوب: google-vertex/global48/48100%0USD 0.0020076USD 0.000041821.1ق / 2.09ق
Google: Gemini 4 Argonالمسار المطلوب: google-vertex/global48/48100%0USD 0.0229USD 0.000477082.6ق / 3.88ق
Anthropic: Claude Sonnet 5.5المسار المطلوب: google-vertex/global45/4893.8%0USD 0.035462USD 0.000788041.31ق / 2.64ق
Anthropic: Claude Opus 5.5المسار المطلوب: amazon-bedrock48/48100%0USD 0.074024USD 0.001542171.62ق / 4.3ق

تم الإبلاغ عن قيم usage.cost في استجابات OpenRouter، في USD. ولا تزال التسوية الخارجية الفردية معلقة ولم يتم استبدالها بتقدير للديون. يتضمن المحاولات غير الصحيحة والفاشلة عند الشحن. وهي لا تشمل شراء الاعتمادات أو الضرائب أو أسعار الصرف أو البنية التحتية أو التكاليف البشرية للمراجعة. عندما يكون usage.cost مفقودًا في أية محاولة، تصبح الإجماليات المبلغ عنها غير متوفرة. وهذا منفصل عن التسوية الخارجية للبيان، والتي تم وضع علامة عليها أعلاه.

انظر ماذا أجاب كل نموذج

يستخدم الفحص تحديد النموذج والمهمة أدناه، بغض النظر عن قص المخطط.

الطلبات والردود الأصلية أدناه مكتوبة باللغة البرتغالية، لغة التنفيذ. ترجمة الواجهة لا تغير سجلات الاختبار.

طلب المرجع والرد
Extraia da nota: Empresa Sol, total R$ 1.249,90, vencimento 15/11/2026. Retorne {"company":string,"total_cents":number,"due":AAAA-MM-DD}.
Responda somente com o objeto JSON pedido. Não acrescente chaves, explicações ou markdown.
{
  "company": "Empresa Sol",
  "total_cents": 124990,
  "due": "2026-11-15"
}
التكرار 1Aprovada

{"company":"Empresa Sol","total_cents":124990,"due":"2026-11-15"}

USD 0.00003753 · 2.66ق درجة الحرارة 0

أبلغ المزود: Decart · الطريق المطلوب: decart/fp4

التكرار 2Aprovada

{"company":"Empresa Sol","total_cents":124990,"due":"2026-11-15"}

USD 0.00003753 · 2.97ق درجة الحرارة 0

أبلغ المزود: Decart · الطريق المطلوب: decart/fp4

الإخفاقات والردود الفاشلة

3 من 288 المحاولات لم تستوف المعيار. يتم تحديد حالات فشل النقل ومشكلات التنسيق وتناقضات المحتوى بشكل منفصل عند الإشارة إليها. كانت حالات الفشل الثلاثة لهذا التشغيل عبارة عن نص إضافي خارج JSON: أكدت مراجعة يدوية لاحقة أن القيم الرقمية في هذه الحالات تتطابق مع المرجع. لم تغير هذه المراجعة درجات المعايير الأصلية.

فحص المهام

تستخدم جميع الحالات معلومات اصطناعية. هناك أربع مجموعات: الاستخراج واستخدام المصادر وحسابات الأعمال واتباع التعليمات.


طلب

الطلب الأصلي باللغة البرتغالية
Extraia da nota: Empresa Sol, total R$ 1.249,90, vencimento 15/11/2026. Retorne {"company":string,"total_cents":number,"due":AAAA-MM-DD}.
Responda somente com o objeto JSON pedido. Não acrescente chaves, explicações ou markdown.

مرجع الموافقة

{
  "company": "Empresa Sol",
  "total_cents": 124990,
  "due": "2026-11-15"
}

الطريقة والحدود

حددت الخطة تكرارين لكل مهمة ونموذج. تكرار نفس الحالات لا يؤدي إلى إنشاء مهام مستقلة 48. تم خلط الأمر مع البذور المسجلة، مع حد الخروج والسعر وإجمالي الإنفاق. لم تتم إعادة محاولة المكالمات المدفوعة المرسلة تلقائيًا.

يقيس التمرير الدقيق مجموعة ضيقة من المهام ذات الاستجابات المغلقة. فهو لا يقيس الجودة الأدبية، أو الذكاء الكامل للنموذج، أو تأثير الذكاء الاصطناعي على إنتاجية الشركة. نحن لا نستخدم نموذجًا آخر كحكم أو نقوم بتنشيط وضع JSON أو نظام استجابة الموفر. نقوم بتقييم الامتثال للتنسيق لكل تعليمات في الموجه. قد يؤدي استخدام الإخراج المنظم إلى تغيير هذا السلوك ولم يتم اختباره هنا. يتم تجاهل ترتيب المفاتيح وأي سياج كود محتمل JSON؛ يجب أن تتطابق القيم ومجموعة المفاتيح مع المرجع.

تحدد السجلات النموذج والطريق المطلوب والمزود المستنير والمعلمات والتاريخ والاستهلاك الفعلي. أربعة من المسارات الستة لا توفر إمكانية ضبط درجة الحرارة: تم حذف المعلمة في هذه الحالات. وفي الاثنين الآخرين، نستخدم درجة حرارة الصفر. قد يختلف جهد التفكير والسلوك المعياري بين العائلات؛ نحن لا نفترض معلمات متكافئة. وكان سقف الإخراج هو الرموز المميزة 700 في جميع المحاولات. معدلات شراء الائتمان والضرائب وأسعار الصرف والبنية التحتية تقع خارج تكلفة الاستدلال ويجب أخذها في الاعتبار عند اتخاذ القرارات التجارية.

تقوم شركة Rovemark بتطوير منتجات الذكاء الاصطناعي ولها مصلحة تجارية في هذه التكنولوجيا. البروتوكول والسجلات الاصطناعية والتعليمات البرمجية وملفات التشغيل الدقيقة متاحة للمراجعة المستقلة. ولم تتغير الحالات بعد بدء المكالمات.

الاعتماد وفقًا لمعيار JSON والتكلفة المبلغ عنها لكل اعتماد في النماذج الستة. القيم الكاملة موجودة في الجدول التفاعلي أعلاه.
الشكل للتحميل. التكاليف التي تم الإبلاغ عنها بواسطة API، مع انتظار التسوية الفردية. وكانت حالات الرفض الثلاثة بسبب التنسيق وليس بسبب الاختلاف في الحسابات المنقحة.تنزيل SVG · تحميل PNG

أسئلة الاختبار

Os preços e benchmarks dos fornecedores já são públicos?

ينشر العديد من الموردين الأسعار والميزات والمراجعات لنماذجهم الخاصة. يمكننا جمع هذه المعلومات مع المصدر والتاريخ، دون إجراء مكالمات مدفوعة الأجر. قائمة الأسعار في هذه الصفحة تأتي من كتالوج OpenRouter العام. تأتي نتائج مكالمات 288 من الاختبار الفني لـ Rovemark ويتم عرضها بشكل منفصل. يجب أن تنسب نتائج الطرف الثالث إلى المؤلفين، دون تقديمها كتحقق من الصحة.

Quando vale a pena fazer um teste próprio?

عندما يعتمد القرار الملموس على شيء لا تجيب عليه المصادر المتاحة، مثل الالتزام بتنسيق في تعليماتنا أو تكلفة تدفق معين. نقوم أولاً بتحديد السؤال والتحقق من الدراسات الموجودة. إذا كان لا يزال هناك نقص في الأدلة، فإننا نقترح أصغر اختبار مناسب، مع تحديد المعايير والميزانية قبل التنفيذ. لا يحل الاختبار ذو المهام الاصطناعية محل البحث حول الإنتاجية في الشركات.

Este teste escolhe o melhor modelo de IA?

إنه يقارن ستة نماذج في مجموعة مهام 24 باللغة البرتغالية، ضمن المسارات والتكوينات المسجلة. المعدل الأعلى هنا لا يثبت التفوق العام. نحن لا نختبر كل الكتابة الممكنة، أو التفكير المفتوح، أو سير العمل.

O modelo mais barato pode cuidar de qualquer tarefa?

تساعد التكلفة المرصودة في اختيار المرشحين لمهام مماثلة. لا تختبر المجموعة استدعاءات الأدوات الفعلية أو المستندات الطويلة أو الصور أو البيانات الخاصة أو جميع عناصر التحكم الأمنية الخاصة بالمنتج. يحتاج تغيير النموذج في الإنتاج إلى تقييم التدفق الذي سيتم استخدامه فيه.

Por que medir custo por aprovação?

لا يوضح سعر الرمز المميز عدد الرموز المميزة التي سيستهلكها النموذج ولا عدد الاستجابات التي ستكون قابلة للاستخدام. نقسم تكلفة جميع المحاولات على عدد المحاولات التي اجتازت المعيار. الإجابات الخاطئة تكلف أيضًا ويتم تضمينها في المجموع.

São 48 tarefas diferentes por modelo?

هناك مهام 24، كل منها يتكرر مرتين. يساعد التكرار على ملاحظة التباين، لكنه لا يوسع التنوع ليشمل المسائل المستقلة 48. النتائج وصفية. نحن لا ننشر فترات الثقة أو الأهمية الإحصائية لمجموعة من المهام.

Por que o ajuste de temperatura varia?

عند الاستعلام عن نقاط النهاية، لم تعلن أربعة من المسارات الستة عن دعم المعلمة temperature. نحذف فيها التعديل ونسجل الإعداد الافتراضي للموفر. وفي الاثنين الآخرين، نستخدم الصفر. كان حد الخروج هو رموز 700 للجميع. لا يُفترض أن تكون درجة الحرارة وجهد التفكير الذي تبذله العائلات المختلفة متكافئة.

Como sei por que uma resposta foi reprovada?

يعرض قسم الفحص طلب النموذج والمرجع والإجابتين. تتطلب الموافقة نفس القيم والمفاتيح الموجودة في كائن JSON؛ يتم تجاهل ترتيب المفاتيح وأي سياج كود محتمل JSON. تحافظ البيانات الكاملة على الاستجابات الفاشلة وحالات فشل API.

Posso reproduzir o teste?

تتوفر للتنزيل ملفات التشغيل الدقيقة والبروتوكول والاستجابات المرجعية وبذرة الفرز والنتائج. يتطلب التشغيل الجديد بيانات الاعتماد والميزانية الخاصة به. قد يتغير التوفر والتسعير وسلوك الموفر، حتى مع الحفاظ على معرف النموذج.

Isso comprova lucro ou ganho de produtividade?

تكلفة الاستدلال ليست سوى جزء واحد من العملية. يتم استبعاد الرسوم والضرائب وأسعار الصرف والبنية التحتية والمراجعة البشرية من هذا المؤشر. الاختبار لا يقيس إنتاجية الشركة. يستمر بروتوكول الإنتاج والمراجعة المنفصل مع الشركات دون نشر نتائجه.