Was ist das Deep Web?
IONOS Redaktion4 mins
Nicht alle Inhalte, die es auf Websites und in Onlineshops gibt, sind für alle Nutzer und Suchmaschinen frei verfügbar. Diese zugriffsbeschränkten Inhalte werden unter dem Begriff „Deep Web“ zusammengefasst. Die Gründe für Zugangsbeschränkungen können vielfältig sein.
- Inklusive Wildcard-SSL-Zertifikat
- Inklusive Domain Lock
- Inklusive 2 GB E-Mail-Postfach
Deep Web: Definition
Den meisten Menschen ist der Begriff „Deep Web“ wahrscheinlich wenig geläufig, dabei ist es der Oberbegriff für alle möglichen Daten, die Sie nicht einfach über eine Suchmaschine oder die Eingabe einer URL aufrufen können. Und dabei handelt es sich um einen Großteil der Daten und Seiten, die Ihnen im Internet zur Verfügung stehen – zum Beispiel Datenbanken von Unternehmen, Universitäten und Museen, die nur über einen Login besucht werden können, Bankkonten, Warenkörbe, Nutzerkonten von Onlineshops und noch vieles mehr. Zum Deep Web gehört genau genommen auch das Dark Web, wobei sich diese Inhalte noch einmal maßgeblich voneinander unterscheiden.
Unterschiede zwischen Deep Web, Dark Web und Internet
Beginnen wir mit einer eindeutigen Definition des Internets, wie wir es kennen: Alle Suchmaschinen, Nachrichtenseiten, Onlineshops und Homepages, die wir über einen Browser wie Chrome oder Firefox aufrufen können und für deren Aufruf keine zusätzlichen Anmeldedaten notwendig sind, gehören grundsätzlich zum Surface bzw. Visible Web – wobei es hier einen fließenden Übergang bzw. einen Teil an Inhalten gibt, die aus Sicht von Suchmaschinen schon dem Deep Web angehören. Mehr dazu in den folgenden Absätzen.
Das Deep Web, das einen deutlich größeren Anteil am gesamten Internet ausmacht, umfasst alle Inhalte mit Zugangsbeschränkung. Google und andere Suchmaschinen können diese Daten nicht indexieren.
Innerhalb des Deep Webs gibt es das Dark Web. Hier ist der Zugriff noch stärker reglementiert und nur über spezielle Technologien möglich. Aufgrund der Beschränkungen und der totalen Anonymität des Dark Webs ist es leider ein Magnet für kriminelle Machenschaften. In den folgenden Absätzen sind mit Deep Web nur die im vorherigen Absatz beschriebenen Inhalte gemeint, nicht die Dark Web-Inhalte.
Warum Inhalte im Deep Web nicht gefunden werden
Wie oben bereits beschrieben, ist eine Möglichkeit, warum Inhalte von den Crawlern der Suchmaschine nicht gefunden und indexiert werden, die Zugangsbeschränkung durch ein Login bzw. die Abfrage eines Passworts. Auch die Zustimmung zu Nutzungsbedingungen oder eine Bezahlschranke können Hindernisse sein. In all diesen Fällen erreichen auch Sie als Nutzer die URL nur, wenn Sie vorher ein Passwort eingegeben oder der Zahlung zugestimmt haben.
Es gibt aber auch noch einen anderen Fall im Deep Web. Dabei können Sie die Seite aufrufen, sofern die URL bekannt ist – der Crawler einer Suchmaschine findet und indexiert sie aber dennoch nicht. Die Gründe dafür sind vielfältig:
Zum einen können Webmaster gezielt mit dem Nofollow-Befehl Inhalte von der Indexierung ausschließen. Zum anderen besteht die Möglichkeit, dass eine Seite innerhalb einer Webpräsenz so versteckt ist, dass der Crawler diese nicht findet. Für jede Website hat der Crawler nämlich nur ein bestimmtes „Seiten-Budget“ – ist dieses ausgeschöpft und es gibt immer noch Seiten auf einer darunterliegenden Ebene, werden diese nicht berücksichtigt. Eine dritte Möglichkeit sind fehlende technische Voraussetzungen für die Indexierung – beispielsweise, wenn Flash verwendet wird.
Was Deep Web-Inhalte für Ihre Website bedeuten
Grundsätzlich stellen Deep Web-Inhalte für Sie und Ihre Website-Besucher kein Problem dar. Ganz im Gegenteil: Solche Seiten sind auf fast jeder größeren Webpräsenz oder in Online-Shops zu finden und Nutzer gehen mit Logins ganz selbstverständlich um.
Wo die fehlende Indexierung durch Google jedoch eine Rolle spielt, ist beim Thema Suchmaschinenoptimierung. Vor allem bei wissenschaftlichen oder medizinischen Themen liegen oft viele relevante Inhalte hinter einer Zugangsbeschränkung. Ziel sollte es jedoch sein, möglichst viele Inhalte frei zugänglich und indexierbar zu machen (sofern Gesetze und Unternehmenspolitik es zulassen) – oder zumindest Landingpages zu gestalten, die der Suchmaschine eine Idee davon geben, was es (noch) auf Ihrer Website zu finden gibt.
