So erkennst du RivalEye-Abrufe
RivalEye liest nur öffentlich zugängliche Seiten und nennt bei jedem Abruf seinen Namen; der Konkurrenz-Check beachtet außerdem robots.txt. Hier steht, welche Abrufe es gibt, was sie lesen und wie du den Check sperrst.
1. Inhaber-Prüfung
Wenn ein Kunde bestätigt, dass ihm eine Website gehört, liest RivalEye nur die Startseite und bis zu 4 Unterseiten wie Impressum, Kontakt oder „Über uns“ dieser eigenen Website, um die dort veröffentlichte E-Mail-Adresse zu finden. Weil es um die eigene Website des Kunden geht, wertet dieser Abruf keine robots.txt aus. Er meldet sich mit:
RivalEye-Verify/1.0 (+https://rivaleye.pro/methodik.html)
2. Kostenloser Konkurrenz-Check
Beim kostenlosen Konkurrenz-Check trägt jemand seine eigene Website und bis zu drei Wettbewerber-Websites ein. RivalEye liest dann jede eingetragene Website höchstens einmal pro Check, automatisch und nach festen Regeln. Gelesen werden höchstens:
- die robots.txt – der eingetragenen Adresse, derselben Adresse mit bzw. ohne „www.“ und, falls die Startseite auf eine andere Adresse weiterleitet, auch die robots.txt dort,
- die Startseite – falls sie über https nicht antwortet, ersatzweise über http:// bzw. mit oder ohne „www.“,
- ein Test, ob die Adresse mit http:// auf https:// weiterleitet,
- die llms.txt,
- die Sitemap (die in der robots.txt genannte, sonst sitemap.xml bzw. sitemap_index.xml) und bei einem Sitemap-Index bis zu 2 Unter-Sitemaps derselben Domain.
Leitet die Startseite auf eine andere Adresse weiter (zum Beispiel mit „www.“), lesen wir llms.txt, Sitemap und den Weiterleitungstest bei Bedarf auch dort. Keine Unterseiten, keine Formulare, keine Logins. Mehrere Abrufe derselben Adresse innerhalb eines Checks werden zusammengelegt.
Zwischenspeicher: Wird dieselbe Website kurz danach in einem weiteren Check eingetragen, verwenden wir das gespeicherte Ergebnis weiter und rufen sie nicht erneut ab – als Wettbewerber bis zu 6 Stunden lang, als eigene Website bis zu 10 Minuten. Die Zahl der Checks je Website ist zusätzlich begrenzt.
Zeitgrenzen: Für die robots.txt und die Startseite warten wir höchstens 7 Sekunden, für llms.txt, Weiterleitungstest und Sitemaps höchstens 4 Sekunden, für eine Website insgesamt höchstens 18 Sekunden. Antworten llms.txt, Weiterleitungstest oder Sitemap nicht rechtzeitig, lassen wir sie weg; der Bericht zeigt dort „nicht ermittelt“ statt eines Punktabzugs.
KI-Rat: Nach der Bestätigung des Checks schreibt und prüft der RivalEye KI-Rat die Texte des Berichts. Er arbeitet nur mit den bereits gemessenen Daten und ruft keine Websites auf – es gibt keine weiteren Abrufe mit anderer Kennung.
Der Abruf meldet sich mit:
Mozilla/5.0 (compatible; RivalEye-Check/1.0; +https://rivaleye.pro/bot.html)
So beachten wir die robots.txt
Die robots.txt wird zuerst gelesen und vor jedem weiteren Abruf beachtet – auch bei jeder Weiterleitung auf eine andere Adresse. Wir werten sie nach dem Standard RFC 9309 aus: Es gilt die Gruppe User-agent: RivalEye-Check, sonst eine Gruppe User-agent: RivalEye, sonst User-agent: *; innerhalb der Gruppe entscheidet die längste passende Regel, bei Gleichstand gewinnt Allow.
- Keine robots.txt (Fehler 4xx), nicht erreichbar oder keine rechtzeitige Antwort: Dann gilt alles als erlaubt – wie im Standard vorgesehen.
- Serverfehler (5xx): Dann lesen wir vorsichtshalber nichts weiter. Als Wettbewerber erscheint die Website als „nicht lesbar“, als eigene Website lässt sie sich dann nicht prüfen – weil ihre robots.txt einen Serverfehler meldete, nicht weil sie uns sperrt.
- Sehr lange robots.txt: Wir lesen die ersten 200 KB. Hat die für uns geltende Gruppe mehr als 1.000 Regeln, behandeln wir sie wie eine vollständige Sperre.
Sperren per robots.txt:
User-agent: RivalEye-Check Disallow: /
Eine Gruppe mit User-agent: RivalEye gilt ebenfalls. Ist deine Website gesperrt, liest der Check von ihr nur noch die robots.txt: Als Wettbewerber erscheint sie im Vergleich als „nicht lesbar“, als eigene Website lässt sie sich nicht prüfen. Bereits zwischengespeicherte Ergebnisse (siehe oben) verfallen spätestens nach 6 Stunden.
3. Regelmäßige Beobachtung im Abo
Die regelmäßige Beobachtung im Abo bekommt eine eigene Kennung. Wir veröffentlichen sie hier mit User-Agent und robots.txt-Token, bevor sie zum ersten Mal läuft.
4. Kontakt
Fragen oder Beschwerden zu Abrufen: contact@semia-agent.de, +49 (0) 155 1038 9104 oder über die Kontaktseite. Wir antworten innerhalb eines Werktags. Mehr zur Arbeitsweise: Methodik.