اعرف ما إذا كان موقعك يحجب زواحف الذكاء الاصطناعي.
سطر واحد في robots.txt يحدد ما إذا كان ChatGPT وClaude وPerplexity يستطيعون قراءة موقعك والاستشهاد بعلامتك التجارية. أدخل النطاق واعرف الوكلاء العشرة المهمين، واحدا تلو الآخر.
- الوحدة
- AEO/GEO
- المُدخل
- نطاق واحد
- مكان التشغيل
- خادم Rovemark
- التكلفة
- مجانًا وبلا تسجيل
الملف الذي يقرّر ما إذا كان الذكاء الاصطناعي يستطيع اقتباسك
يوجد robots.txt في جذر النطاق، وهو أول ما يطلبه أي زاحف قبل فتح صفحة. فيه يحدد الموقع من يدخل ومن لا يدخل. حتى 2023، كانت لهذه القائمة فئة واحدة فقط: محركات البحث. اليوم لها فئتان، ومعظم المواقع لم تفصل بينهما أبدا.
تجلب الأداة robots.txt لديك، وتطبق قواعد البروتوكول، المجموعة التي تحمل اسم الوكيل تتغلب على الرمز العام، وAllow يتغلب على Disallow في المسار نفسه، ثم تعرض الحكم على أكثر 10 وكلاء ذكاء اصطناعي انتشارا اليوم، مفصولين بحسب وظيفة كل منهم.
- 01
تُدخل النطاق
النطاق فقط، بلا تسجيل. تجلب الأداة ملف robots.txt من المصدر مباشرة، تمامًا كما يفعل الزاحف.
- 02
تُطبَّق القواعد لكل وكيل على حدة
ليس بحثًا نصيًا: يُفسَّر الملف كما يقتضي البروتوكول، مع احترام أسبقية المجموعة المحدّدة على رمز البدل.
- 03
يصدر الحكم مفصولًا بحسب الدور
تظهر زواحف البحث وزواحف التدريب في كتلتين منفصلتين، لأن حجب الأولى قرار تسويقي وحجب الثانية قرار يخص الملكية الفكرية.
- 01
ما هو robots.txt ولماذا يهم الذكاء الاصطناعي؟
- هو ملف نصي في جذر الموقع يحدد أي الروبوتات يمكنها الوصول إلى أي مسارات. يحترم مساعدو الذكاء الاصطناعي هذا الملف: إذا كان نطاقك يحجب OAI-SearchBot، فلن يتمكن ChatGPT من فتح صفحتك للاستشهاد بها في إجابة، حتى لو كانت أفضل مصدر موجود عن الموضوع.
- 02
ما الفرق بين زاحف البحث وزاحف التدريب؟
- زاحف البحث (OAI-SearchBot وPerplexityBot وClaude-SearchBot) يقرأ صفحتك لحظة سؤال أحدهم، ليبني الإجابة وينسب المصدر برابط. أما زاحف التدريب (GPTBot وGoogle-Extended وCCBot) فيجمع المحتوى لتدريب نماذج مستقبلية، بلا رابط عائد. حجب زاحف التدريب يحمي محتواك؛ وحجب زاحف البحث يُخرجك من الإجابة.
- 03
هل حجب GPTBot يزيل علامتي من ChatGPT؟
- ليس مباشرة. GPTBot هو جامع بيانات التدريب لدى OpenAI. من يبحث في الوقت الفعلي ويستشهد بالمصدر هما OAI-SearchBot وChatGPT-User. يمكنك حجب التدريب والاستمرار في الاستشهاد بك، وعدة مؤسسات إخبارية تفعل ذلك بالضبط.
- 04
موقعي بلا robots.txt. هل هذا سيئ؟
- بحسب البروتوكول، غياب الملف يعني أن كل شيء مسموح، لذلك لا يوجد أي روبوت ذكاء اصطناعي محجوب. ليست مشكلة ظهور. إنها مشكلة إذا كنت تعتقد أن لديك تحكما ولم يكن لديك.
- 05
موقعي يحجب كل شيء. كيف أسمح للزواحف الصحيحة فقط؟
- أعلن مجموعة باسم كل وكيل تريد السماح له. قاعدة البروتوكول أن المجموعة المسمّاة تتقدّم على User-agent العام، سواء جاءت قبله أو بعده. والمجموعة التي يكون فيها Disallow فارغًا تسمح للوكيل بالكامل.
- 06
كم مرة ينبغي أن أتحقّق؟
- كلما غيّرت CMS أو CDN أو منصة تجارة إلكترونية، فإن كثيرا منها ينشئ robots.txt تلقائيا ويستبدل ملفك. ومن المفيد أيضا التحقق عند ظهور وكيل جديد: تغيرت قائمة روبوتات الذكاء الاصطناعي عدة مرات منذ 2023.
robots.txt هو الباب. وماذا بعده؟
السماح للذكاء الاصطناعي بالدخول هو الحد الأدنى. معرفة ما يجيب به عندما يُسأل عن علامتك التجارية، وتغيير تلك الإجابة، هو ما تفعله المنصة.