Hilfe-Center
Home

IONOS Crawler

IONOS Crawler ist der Web-Crawler von IONOS. Seine Aufgabe ist es, das Internet kontinuierlich zu durchforsten, damit wir unsere erstklassigen Hosting-Dienste verbessern und erweitern können. Für ein Höchstmaß an Transparenz haben wir die folgende Liste mit häufig gestellten Fragen (Frequently Asked Questions, FAQ) zusammengestellt. Wenn Sie weitere Fragen oder Bedenken haben, lassen Sie es uns bitte wissen.

Was ist ein Web-Crawler im Allgemeinen?

Ein Web-Crawler ist ein Internet-Bot, der systematisch das World Wide Web durchsucht. Crawler besuchen öffentlich zugängliche Domains und führen je nach Zweck eine Reihe von Aktionen durch, wie z.B. die Analyse von Schlüsselwörtern und Hashtags, die Indizierung von Seiteninhalten und URLs, das Extrahieren von Daten und das Verfolgen bestehender Weiterleitungen, um neue Websites zu analysieren. Weitere Informationen über die Funktionsweise von Webcrawlern finden Sie in unserem IONOS Digital Guide “Was ist ein Crawler: Wie die Datenspinnen das Internet optimieren”.

Was ist der User-Agent vom IONOS Crawler?

Der User-Agent vom IONOS Crawler lautet:

"User-Agent" = "IonCrawl"

Bitte beachten Sie, dass die User-Agent-Information gefälscht werden kann. Daher ist es wichtig, zu überprüfen, ob eine Anfrage tatsächlich von IONOS kommt.

Woher weiß ich, dass das Crawling vom IONOS Crawler kommt?

Wir empfehlen die Verwendung von Reverse-DNS-Lookup, um die Identität des IONOS Crawlers zu überprüfen. Der Hostname vom IONOS Crawler ist *.1und1.org. Die Verifizierungsmethoden unterscheiden sich je nach installiertem Betriebssystem.

  • Unter Linux führen Sie den Befehl "host <IP>" aus.
  • Unter Windows führen Sie den Befehl "nslookup <IP>" aus.
  • Unter macOS führen Sie den Befehl "dig <IP>" aus.

Wie kann ich verhindern, dass der IONOS Crawler meine Seite crawlt?

Wie andere seriöse Web-Crawler respektiert der IONOS Crawler die Anweisungen, die in der robots.txt angegeben sind. Die robots.txt ist ein Standard, der von Webseiten verwendet wird, um mit Webcrawlern und anderen Webrobotern zu kommunizieren. Sie können verhindern, dass der IONOS Crawler Ihre gesamte Website oder bestimmte Teile davon crawlt, indem Sie dies in der robots.txt angeben.

Der folgende Befehl blockiert den IONOS Crawler für Ihre gesamte Website:

User-agent: IonCrawl
Disallow: /

Nachdem die robots.txt ordnungsgemäß eingerichtet wurde, werden die entsprechenden Webseiten nicht mehr gecrawlt.

Hält der IONOS Crawler die Datenschutzbestimmungen ein?

Der IONOS Crawler hält sich an alle relevanten Datenschutzbestimmungen, insbesondere an die Datenschutz-Grundverordnung (DSGVO) der EU. Die Rechtsgrundlage für das Crawling ist Artikel 6(1)(f) DSGVO. Unser Interesse ist es, Erkenntnisse über die Nutzung von öffentlich zugänglichen Domains zu gewinnen, um unsere Produkte und Dienstleistungen zu verbessern. Wir gewährleisten das Widerspruchsrecht, Artikel 21 DSGVO, indem wir den weltweiten robots.txt-Standard berücksichtigen (siehe oben für weitere Informationen). Damit setzen wir die Empfehlungen der Working Party 29, der Vorgänger des heutigen Europäischen Datenschutzausschusses (EDPB), um.

Das Recht auf Löschung, Artikel 17 DSGVO, wird durch kontinuierliches Re-Crawling inklusive automatischer Löschung veralteter gecrawlter Daten nach 60 Tagen sichergestellt.

Darüber hinaus haben Sie das Recht auf Auskunft und Berichtigung der personenbezogenen Daten, das Recht auf Einschränkung der Verarbeitung, das Recht auf Datenübertragbarkeit und das Recht auf Beschwerde bei einer Aufsichtsbehörde. Weitere Informationen zum Datenschutz finden Sie in der Hauptdatenschutzerklärung der IONOS SE als dem für die Datenverarbeitung Verantwortlichen.

Welche zusätzlichen Sicherheitsvorkehrungen wurden getroffen?

Wir haben eine Reihe zusätzlicher Sicherheitsvorkehrungen getroffen, um sicherzustellen, dass der IONOS Crawler keine negativen Auswirkungen auf die besuchten Websites hat und dass alle geltenden rechtlichen Anforderungen erfüllt werden. Erstens: Wo der Zugriff auf Webinhalte von einer Benutzerregistrierung oder Nutzungsvereinbarung abhängig gemacht wird, werden diese Inhalte nicht gecrawlt.

Zweitens werden alle technischen Maßnahmen, die das Crawling verhindern sollen, beachtet.

Außerdem haben wir die Anzahl der Seiten, auf die der IONOS Crawler zugreift, begrenzt. Wir sind daher sicher, dass es nicht zu einer Überlastung der Bandbreite kommen wird. Sollte Ihr Server dennoch Probleme haben, mit unseren Crawling-Anfragen Schritt zu halten, setzen Sie sich bitte umgehend mit uns in Verbindung (Kontaktdaten siehe unten).

Greift der IONOS Crawler auf Admin-Seiten zu?

Da er automatisch verfügbaren Links folgt, kann es sein, dass der IONOS Crawler auch auf Administrationsseiten wie z. B. eine WordPress-Admin-Login-Seite ("wp-admin/admin.php") zugreift, sofern diese nicht vor öffentlichem Zugriff geschützt sind. Der IONOS Crawler versucht jedoch nicht, sich einzuloggen, sondern besucht einfach die Seite.

Wo kann ich Probleme mit dem IONOS Crawler melden?

Falls Sie zusätzliche Informationen benötigen oder ein Problem mit dem IONOS Crawler melden möchten, kontaktieren Sie uns bitte hier. Die Bereitstellung der relevanten Logdateien wird uns bei der Untersuchung und Analyse des Problems eine große Hilfe sein.

Inhalt