كيف تتعرّف على زيارات RivalEye الآلية
لا تقرأ RivalEye إلا الصفحات المتاحة للعموم، وتذكر اسمها في كل زيارة آلية؛ كما يلتزم فحص المنافسين بتعليمات robots.txt. تجد هنا أنواع الزيارات الآلية، وما الذي تقرؤه، وكيف تحظر الفحص.
1. التحقق من ملكية الموقع
عندما يؤكّد عميل أن موقعًا إلكترونيًا يعود إليه، لا تقرأ RivalEye سوى الصفحة الرئيسية وما يصل إلى 4 صفحات فرعية، مثل «بيانات الناشر» أو «اتصل بنا» أو «من نحن»، من موقع العميل نفسه، للعثور على عنوان البريد الإلكتروني المنشور فيه. ولأن الأمر يتعلق بموقع العميل نفسه، لا تأخذ هذه الزيارة الآلية ملف robots.txt في الحسبان. وتُفصح عن هويتها بالمعرّف التالي:
RivalEye-Verify/1.0 (+https://rivaleye.pro/methodik.html)
2. فحص المنافسين المجاني
في فحص المنافسين المجاني يُدخل المستخدم موقعه الإلكتروني وما يصل إلى ثلاثة من مواقع منافسيه. بعدها تقرأ RivalEye كل موقع مُدخَل مرة واحدة على الأكثر في كل فحص، تلقائيًا ووفق قواعد ثابتة. وأقصى ما يُقرأ هو:
- ملف robots.txt – للعنوان المُدخَل، وللعنوان نفسه مع «www.» أو بدونها، وإذا كانت الصفحة الرئيسية تُعيد التوجيه إلى عنوان آخر فملف robots.txt هناك أيضًا،
- الصفحة الرئيسية – وإذا لم تستجب عبر https، فعبر http:// بديلًا، أو مع «www.» أو بدونها،
- اختبار يتحقق مما إذا كان العنوان بصيغة http:// يُعيد التوجيه إلى https://،
- ملف llms.txt،
- خريطة الموقع (المذكورة في robots.txt، وإلا فالملف sitemap.xml أو sitemap_index.xml)، وفي حالة فهرس خرائط الموقع حتى خريطتين فرعيتين من اسم النطاق نفسه.
إذا كانت الصفحة الرئيسية تُعيد التوجيه إلى عنوان آخر (مثلًا مع «www.»)، نقرأ هناك أيضًا عند الحاجة ملف llms.txt وخريطة الموقع ونُجري اختبار إعادة التوجيه. لا صفحات فرعية، ولا نماذج، ولا صفحات تسجيل دخول. وتُدمج الزيارات الآلية المتعددة للعنوان نفسه ضمن الفحص الواحد.
التخزين المؤقت: إذا أُدخل الموقع نفسه بعد وقت قصير في فحص آخر، نستخدم النتيجة المحفوظة ولا نزور الموقع من جديد – لمدة تصل إلى 6 ساعات إذا كان موقع منافس، وإلى 10 دقائق إذا كان موقع المستخدم نفسه. كما أن عدد الفحوص لكل موقع محدود.
المهل الزمنية: ننتظر ملف robots.txt والصفحة الرئيسية 7 ثوانٍ على الأكثر، وملف llms.txt واختبار إعادة التوجيه وخرائط الموقع 4 ثوانٍ على الأكثر، والموقع الواحد إجمالًا 18 ثانية على الأكثر. وإذا لم يستجب ملف llms.txt أو اختبار إعادة التوجيه أو خريطة الموقع في الوقت المحدّد، نتجاوزها؛ ويعرض التقرير مكانها «غير محدَّد» بدلًا من فقدان النقاط.
مجلس الذكاء الاصطناعي: بعد تأكيد الفحص يكتب مجلس الذكاء الاصطناعي في RivalEye نصوص التقرير ويراجعها. وهو يعمل فقط بالبيانات التي سبق قياسها ولا يفتح أي موقع – فلا توجد زيارات آلية أخرى بمعرّف مختلف.
تُفصح هذه الزيارة الآلية عن هويتها بالمعرّف التالي:
Mozilla/5.0 (compatible; RivalEye-Check/1.0; +https://rivaleye.pro/bot.html)
كيف نلتزم بتعليمات robots.txt
يُقرأ ملف robots.txt أولًا ويُلتزم به قبل كل زيارة آلية لاحقة – وكذلك عند كل إعادة توجيه إلى عنوان آخر. ونفسّره وفق المعيار RFC 9309: تُطبَّق المجموعة User-agent: RivalEye-Check، وإلا فالمجموعة User-agent: RivalEye، وإلا فالمجموعة User-agent: *؛ وداخل المجموعة تُطبَّق أطول قاعدة مطابِقة، وعند التساوي تُرجَّح Allow.
- لا يوجد ملف robots.txt (خطأ 4xx)، أو تعذّر الوصول إليه، أو لم يصل ردّ في الوقت المحدّد: عندها يُعَدّ كل شيء مسموحًا به – كما ينص المعيار.
- خطأ في الخادم (5xx): عندها لا نقرأ شيئًا آخر من باب الاحتياط. فإذا أُدخل الموقع بوصفه موقع منافس ظهر «غير قابل للقراءة»، وإذا أُدخل بوصفه موقع المستخدم نفسه تعذّر فحصه حينها – لأن ملف robots.txt الخاص به أبلغ عن خطأ في الخادم، لا لأنه يحظرنا.
- ملف robots.txt طويل جدًا: نقرأ أول 200 كيلوبايت. وإذا تضمّنت المجموعة المنطبقة علينا أكثر من 1000 قاعدة، نعاملها كما لو كانت حظرًا كاملًا.
للحظر عبر robots.txt:
User-agent: RivalEye-Check Disallow: /
وتنطبق كذلك أي مجموعة تبدأ بالسطر User-agent: RivalEye. إذا كان موقعك محظورًا، فلا يقرأ الفحص منه سوى ملف robots.txt: فإذا أُدخل بوصفه موقع منافس ظهر في المقارنة «غير قابل للقراءة»، وإذا أُدخل بوصفه موقعك أنت تعذّر فحصه. أما النتائج المخزّنة مؤقتًا من قبل (انظر أعلاه) فتنتهي صلاحيتها بعد 6 ساعات على الأكثر.
3. المراقبة المنتظمة ضمن الاشتراك
ستحصل المراقبة المنتظمة ضمن الاشتراك على معرّف خاص بها. وسننشره هنا مع قيمة User-Agent والاسم المستخدَم في robots.txt قبل تشغيلها للمرة الأولى.
4. اتصل بنا
للأسئلة أو الشكاوى بشأن الزيارات الآلية: contact@semia-agent.de أو +49 (0) 155 1038 9104 أو عبر صفحة «اتصل بنا». نردّ خلال يوم عمل واحد. للمزيد عن طريقة عملنا: المنهجية.