Suchmaschinen-Index erklärt
Bitte verwenden sie die "Drucken" Funktion am Seitenende, um ein PDF zu erstellen.
Der Suchmaschinen-Index, auch bekannt als Web-Index oder Crawler-Index, ist der Datenbestand einer Suchmaschine. Er enthält Informationen zu allen Websites, die über die Suchmaschine gefunden werden können. Dieser Artikel erklärt Ihnen kurz den Begriff.
Was ist ein Suchmaschinen-Index?
Ein Suchmaschinen-Index ist eine enorme Datenbank, die von Suchmaschinen wie Google, Bing oder Yahoo erstellt wird. In diesem Index werden Informationen über Websites, Seiten und Dokumente gespeichert, die durch den Web-Crawler (eine Software, die das Internet durchsucht) gefunden und analysiert wurden.
Der Suchmaschinen-Index enthält typischerweise folgende Informationen:
URLs: Die Adressen der Websites und Seiten, die im Index enthalten sind.
Titel und Beschreibungen: Die Titel und Beschreibungen der Websites und Seiten.
Inhalte: Der Textinhalt der Websites und Seiten.
Metadaten: Informationen wie Keywords, Beschreibungen und Autor-Informationen.
Verlinkungen: Informationen über die Verlinkungen zwischen Websites und Seiten.
Indexierung mit robots.txt steuern
Bis zu einem gewissen Grad können Sie die Indexierung über das Anlegen einer robots.txt auf der obersten Ebene Ihres Webspaces steuern. Die robots.txt ist eine Textdatei, die Anweisungen für Web-Crawler (auch bekannt als Robots oder Spiders) enthält. Diese Datei informiert die Crawler darüber, welche Teile einer Website sie crawlen dürfen oder nicht.
Erklärungen und Beispiele zu Inhalten einer robots.txt finden Sie z.B. in der Google Search Central.