Wesloo
Alle ThemenThemen

Suchmaschinen

Suchmaschinen verarbeiten unstrukturierte Webdaten und bereiten sie für gezielte Abfragen auf. Den ersten Schritt übernimmt ein Webcrawler. Dieser automatisierte Bot folgt Hyperlinks von Adresse zu Adresse und lädt gefundene HTML-Dokumente in einen Speicher. Aus den Textdaten entsteht anschließend ein invertierter Index. Diese Datenstruktur funktioniert wie das Stichwortverzeichnis eines Fachbuchs: Sie ordnet jedem einzelnen Begriff die Dokumente zu, in denen er vorkommt, ergänzt um die genaue Wortposition. Anfragen lassen sich dadurch in wenigen Millisekunden beantworten, ohne Milliarden Einzelseiten sequenziell abzutasten.

Nach dem Auffinden passender Treffer legt ein Ranking-Verfahren deren Reihenfolge fest. Ein bekanntes mathematisches Modell dafür ist der PageRank-Algorithmus. Er bildet das Web als gerichteten Graphen ab und wertet Hyperlinks als gewichtete Empfehlungen. Ein Dokument erhält einen höheren Rangwert, wenn andere Seiten mit hohem Wert darauf verweisen. Suchsysteme kombinieren diese Graphenanalyse mit inhaltlichen Relevanzkriterien wie der Begriffshäufigkeit im Text.

Diese Kategorie dokumentiert die technischen Teilsysteme von Suchmaschinen. Die Beiträge behandeln die Architektur des Crawlers sowie dessen Steuerung über Sperrdateien wie robots.txt. Weitere Texte analysieren die Speicherstrukturen invertierter Indizes und die mathematischen Kriterien, nach denen Algorithmen Relevanzwerte für die Trefferausgabe ermitteln.

Neue Seiten