Wesloo
Alle ThemenThemen

Suchmaschinen

Wie funktioniert ein Web Crawler? Die Technik dahinter

Kurze Antwort

Ein Webcrawler ist ein Programm, das selbstständig Verweise im Netz verfolgt, Seiten abruft und deren Inhalt an einen Index weitergibt. Er startet mit bekannten Adressen, liest jede Seite aus, sammelt neue Links und arbeitet die gefundenen URLs in einer Warteschlange ab. Regeln in der robots.txt, Abrufraten und Änderungsintervalle bestimmen, wann und wie oft eine Seite besucht wird.

Das Wichtigste

  • Crawler starten mit bekannten Adressen und folgen dann jedem neuen Verweis, den sie auf einer Seite finden.
  • Der Ablauf wiederholt sich immer gleich: Anfrage senden, HTML empfangen, Inhalt auswerten, Links einreihen.
  • Die robots.txt sagt dem Bot, welche Bereiche er nicht abrufen darf.
  • Suchmaschinen legen die Abrufhäufigkeit anhand der Änderungsrate einer Seite fest.
  • Schlecht gebaute Seiten erzeugen Endlosschleifen, sogenannte Spider Traps, und verschwenden Crawl-Budget.

Ein Webcrawler ist ein Programm, das ohne menschliches Eingreifen durch das Netz läuft. Wie funktioniert ein Web Crawler im Detail? Er lädt eine Seite, liest ihren Inhalt aus, merkt sich jeden Verweis und arbeitet die gefundenen Adressen nacheinander ab. Aus wenigen Startadressen werden so Milliarden erfasster Seiten, und genau dieser Kreislauf entscheidet darüber, welche Inhalte in Suchmaschinen überhaupt auftauchen.

Was ein Webcrawler im Kern tut

Ein Crawler ist ein Bot, der Webseiten automatisch abruft, ihren Inhalt auswertet und über die Verweise darin weiterläuft. In der Praxis heißen diese Programme Spider, Spiderbot oder kurz Bot. Betrieben werden sie überwiegend von Suchmaschinen, die damit Material für ihren Index sammeln. Ein Mensch gibt nur den Startpunkt und die Spielregeln vor; die Auswahl der nächsten Adresse trifft das Programm selbst. Aus einer einzigen Startadresse können Millionen Seiten werden, weil jede abgerufene Seite neue Verweise mitbringt. Zwischen zwei Abrufen derselben Domain hält der Bot meist eine Pause ein, damit der Server nicht überlastet wird.

Wie funktioniert ein Web Crawler? Der Ablauf in fünf Schritten

Der Kreislauf sieht bei fast jedem Crawler gleich aus. Er läuft so lange, bis die Warteschlange leer ist oder eine Obergrenze greift.

  1. Anfrage senden: Der Bot schickt eine HTTP-Anfrage an den Server, auf dem die Seite liegt.
  2. Antwort empfangen: Der Server liefert die Ressource zurück, meist eine HTML-Datei.
  3. Inhalt auswerten: Ein Parser zerlegt das Dokument und zieht Text, Titel, Überschriften und Verweise heraus.
  4. Links einreihen: Jede neue Adresse wird gegen die Liste bereits besuchter URLs geprüft. Unbekannte landen in der Warteschlange.
  5. Nächsten Eintrag abarbeiten: Der Bot nimmt den vordersten Eintrag und beginnt von vorn.

Weil Schritt vier laufend neue Adressen produziert, wächst die Warteschlange schneller, als sie sich leeren lässt. Große Suchmaschinen begrenzen deshalb die Tiefe und die Zahl der Seiten pro Domain.

Die Warteschlange bestimmt die Reihenfolge

Bei Milliarden Adressen ist die Reihenfolge keine Kleinigkeit. Sie entscheidet, welche Seiten aktuell im Index stehen und welche veralten. Zwei Verfahren sind verbreitet.

StrategieVerhaltenWirkung
Gleichmäßig (uniform)Alle Seiten werden mit ähnlichem Abstand erneut geprüftIm Schnitt frischere Ergebnisse
Anteilig (proportional)Häufig geänderte Seiten werden bevorzugt neu geladenWeniger Gesamtfrische, weil diese Seiten schnell wieder veralten

Zwei Forscher verglichen beide Verfahren und kamen zu einem Ergebnis, das zunächst überrascht: Gleichmäßiges Nachladen hält den Index im Durchschnitt frischer als das Nachladen nach Änderungsrate. Der Grund liegt in der begrenzten Kapazität. Wer sein Budget überwiegend in schnell wechselnde Seiten steckt, vernachlässigt die stabileren Seiten, und die kurze Frische der schnellen Seiten wiegt das nicht auf.

Ein Sonderfall ist der pfadaufsteigende Crawler. Bekommt er eine Adresse wie beispiel.de/hamster/affe/, ruft er zusätzlich beispiel.de/hamster/ und beispiel.de/ ab. Solche übergeordneten Pfade führen oft zu Seiten, auf die kein anderer Verweis zeigt.

robots.txt: was der Bot nicht abrufen darf

Vor dem Durchsuchen einer Domain liest der Bot die Datei robots.txt im Wurzelverzeichnis. Darin steht, welche Pfade erlaubt und welche gesperrt sind. Anhand dieser Angaben entscheidet der Crawler, welchen Verweisen er folgt und welche er liegen lässt. Die Datei ist eine Bitte, keine Sperre: Ein Bot, der sich nicht daran hält, lässt sich damit nicht aufhalten. Gegen unerwünschte Programme helfen technische Mittel wie eine Anmeldung, eine IP-Sperre oder ein vorgeschalteter Dienst. Für SEO-Verantwortliche ist die Datei der erste Ort, an dem sie prüfen, ob wichtige Bereiche versehentlich gesperrt wurden.

Spider Traps und endlose URL-Muster

Dynamisch erzeugte Adressen sind ein Problem. Manche Crawler überspringen deshalb grundsätzlich alle URLs, die ein Fragezeichen enthalten. Der Filter ist grob, aber wirksam gegen Abfragen mit Parametern, hinter denen unendlich viele Varianten derselben Seite stecken. Ein Kalender mit Weiterblätter-Links erzeugt so beliebig viele Adressen, und der Bot läuft im Kreis. Sobald ein Shop seine Parameter per URL-Rewriting in saubere Pfade umschreibt, greift der Filter nicht mehr. Dann hilft eine Begrenzung der Crawl-Tiefe oder eine Verlinkung ohne Schleifen.

Was ein Crawler aus einer Seite herausliest

Crawler lesen nicht alles gleich. Sie suchen gezielt nach bestimmten Elementen: dem Titel im Kopf der Seite, Meta-Angaben, Überschriften und dem sichtbaren Textkörper. Aus diesen Signalen schätzt die Suchmaschine ein, worum es auf der Seite geht und für welche Suchanfragen sie brauchbar ist. Was der Bot gefunden hat, wandert in eine Datenbank, aus der die Ranking-Algorithmen ihre Ergebnislisten zusammenstellen. Seiten, die ihre Inhalte erst per JavaScript aufbauen, muss der Crawler zusätzlich rendern, sonst sieht er eine leere Hülle. Doppelte Inhalte unter mehreren Adressen erkennt er über kanonische Angaben, sofern die Seite sie setzt.

Wie stark ein Crawl einen Server belastet

Ein Bot arbeitet schneller und gründlicher als jeder menschliche Besucher, und genau das kann zum Problem werden. Schickt ein einzelner Crawler mehrere Anfragen pro Sekunde oder lädt er große Dateien herunter, kommt der Server mit den übrigen Zugriffen kaum nach. Kleine Server ohne Zwischenspeicher geraten dabei an ihre Grenzen. Gegenmaßnahmen sind eine niedrigere Abrufrate in der robots.txt, ein Limit pro IP-Adresse oder eine Drosselung auf Ebene des Webservers.

Wer Crawler einsetzt

  • Suchmaschinen: sammeln Seiten für den Index und füllen daraus die Trefferlisten.
  • Forschung: erhebt große Datenmengen von Websites für Studien.
  • Marketing: beobachtet Wettbewerber, Preise und öffentliche Kundenstimmen.
  • Webarchive: sichern Seitenkopien, damit Inhalte auch nach dem Löschen nachlesbar bleiben.

Willkommen ist nicht jeder dieser Bots. Wer wissen will, wer auf seiner Seite war, schaut in die Protokolldateien.

Crawler erkennen und steuern

Jeder Abruf eines Bots steht im Server-Log und ist am User-Agent zu erkennen. Google meldet sich dort zum Beispiel als Googlebot/2.1. Wer regelmäßig in die Protokolldateien schaut, sieht, welche Bots kommen, wie oft sie anklopfen und welche Pfade sie ansteuern. Bei der Auswertung im Terminal helfen die wichtigsten Shortcuts für die Bash, weil dort viel mit grep und tail gefiltert wird. Größere Log-Auszüge landen als CSV in einer Tabelle, und die Excel-Tastenkombinationen für Formeln und Eingabe sparen beim Auswerten spürbar Zeit. Für einen Bericht hält man das Ergebnis mit den Screenshot-Tastenkombinationen für alle Systeme fest.

Weitere häufige Fragen

Was ist der Unterschied zwischen Crawler und Spider?

Keiner. Crawler, Spider, Spiderbot und Bot bezeichnen dasselbe Programm. Der Begriff Spider stammt aus der Frühzeit des Web, als das Herumkriechen über Verweise das auffälligste Merkmal war.

Wie oft besucht ein Crawler eine Seite?

Das hängt von der Änderungsrate und der Bedeutung der Seite ab. Seiten mit neuen Inhalten werden häufiger neu geladen als solche, die seit Jahren unverändert sind.

Kann ich Crawler von meiner Seite aussperren?

Über die robots.txt lassen sich Pfade sperren. Die Datei ist freiwillig, deshalb sollte bei sensiblen Inhalten zusätzlich eine Anmeldung oder eine technische Sperre greifen.

Warum taucht meine Seite trotz Crawl nicht in den Suchergebnissen auf?

Zwischen Abruf und Aufnahme in den Index liegen mehrere Schritte. Eine Seite kann gecrawlt, aber wegen dünnem Inhalt, Duplikaten oder einer noindex-Anweisung nicht aufgenommen werden.

Was ist eine Spider Trap?

Eine Konstruktion, die einen Crawler zu unendlich vielen Abrufen verleitet, etwa ein Kalender, der für jedes Datum eine neue Adresse erzeugt. Sie verschwendet das Crawl-Budget.

Verwandte Seiten

  • Geschichte der ersten Suchmaschinen: Internet-Pioniere

    Die Erschließung des frühen Internets begann 1990 mit dateibasierten Indizes wie Archie und entwickelte sich über Gopher-Dienste zu den ersten Webcrawlern. Mit WebCrawler und AltaVista etablierte sich Mitte der 1990er-Jahre die Volltextsuche, bevor Link-Analysen und Relevanzalgorithmen wie PageRank moderne Suchstandards setzten.

  • Was ist eine Metasuchmaschine? Aufbau & Funktion

    Eine Metasuchmaschine ist ein webbasiertes Abfragesystem, das Suchanfragen parallel an mehrere eigenständige Suchmaschinen weiterleitet und deren Ergebnisse zusammenführt. Da sie auf einen eigenen Webcrawler verzichtet, bündelt und bereinigt sie fremde Trefferlisten über standardisierte Fusionsalgorithmen. Für Nutzer entsteht dadurch eine breitere Übersicht über ein zentrales Suchfeld, während die kontaktierten Zieldienste die Identität der Anfragenden in der Regel nicht direkt erfassen.

  • Wie funktionieren private Suchmaschinen im Netz?

    Private Suchmaschinen schützen Nutzerdaten, indem sie Anfragen von IP-Adressen entkoppeln, keine identifizierenden Cookies setzen und keine persönlichen Suchverläufe speichern. Sie leiten Abfragen anonymisiert an fremde Indizes weiter oder greifen auf eigene Datenbestände zurück, ohne Profile zu monetarisieren.

  • Wie funktioniert semantische Suche? Vektoren im Detail

    Semantische Suche ermittelt die inhaltliche Bedeutung und Absicht einer Suchanfrage, anstatt Zeichenfolgen wörtlich abzugleichen. Sprachmodelle transformieren Texte dafür in dichte, mehrdimensionale Vektoren, deren Lage im Vektorraum über mathematische Distanzmaße wie die Kosinus-Ähnlichkeit verglichen wird. Spezialisierte Vektordatenbanken beschleunigen diese Ähnlichkeitsabfrage durch graphen- oder clusterbasierte Indexierungsverfahren.

  • Wie funktioniert robots txt? Aufbau und Einsatz

    Eine robots.txt ist eine Textdatei im Stammverzeichnis einer Website, die automatisierte Webcrawler steuert. Sie basiert auf dem 1994 geschaffenen und 2022 als RFC 9309 standardisierten Robots Exclusion Protocol, um Bots mitzuteilen, welche Pfade sie abrufen dürfen und welche gesperrt sind. Die Einhaltung dieser Anweisungen ist freiwillig und dient primär der Steuerung des Crawler-Verkehrs seriöser Suchmaschinen.

  • Organische vs. bezahlte Suche: Die Unterschiede

    Organische Suchergebnisse entstehen durch inhaltliche Relevanz sowie technische Optimierung ohne Gebühren pro Klick, während bezahlte Anzeigen über Auktionsmodelle sofortige Spitzenpositionen gegen Bezahlung liefern. Organische Platzierungen verzeichnen deutlich höhere Klickraten und schaffen beständige Reichweite, erfordern jedoch Geduld beim Aufbau. Bezahlte Kampagnen eignen sich für unmittelbare Sichtbarkeit und gezielte Aktionen, verursachen aber fortlaufende Werbekosten.

Wie diese Seite entstanden ist

Vor dem Schreiben wurde das Thema in den unten genannten Quellen recherchiert. Danach hat die Seite automatische Qualitätsprüfungen bestanden.

Einen Fehler auf dieser Seite melden