Geschichte der ersten Suchmaschinen: Internet-Pioniere
Kurze Antwort
Die Erschließung des frühen Internets begann 1990 mit dateibasierten Indizes wie Archie und entwickelte sich über Gopher-Dienste zu den ersten Webcrawlern. Mit WebCrawler und AltaVista etablierte sich Mitte der 1990er-Jahre die Volltextsuche, bevor Link-Analysen und Relevanzalgorithmen wie PageRank moderne Suchstandards setzten.
Das Wichtigste
- Alan Emtage programmierte 1990 mit Archie den ersten Index für Dateinamen auf FTP-Servern.
- WebCrawler führte im April 1994 die Volltextindizierung von Webseiteninhalten ein.
- Infoseek etablierte ab 1995 das werbefinanzierte Geschäftsmodell für Suchmaschinen.
- Regionale Pioniere wie Yandex, Seznam, Naver und Baidu bauten ab 1996 eigenständige Indizes auf.
- Mit Systemen wie Direct Hit und Google PageRank lösten Nutzer- und Linksignale reine Keyword-Zählungen ab.
Die Geschichte der ersten Suchmaschinen im Internet begann vor der Entstehung des World Wide Web. Zu Beginn der 1980er-Jahre existierten im Arpanet und dem frühen Netz kaum automatisierte Werkzeuge zur Erschließung verteilter Datenbestände. Systeme wie das 1982 eingeführte WHOIS stellten lediglich Kontaktverzeichnisse für Netzwerkverwalter bereit, boten jedoch keine Funktionalität zum Durchsuchen von Dokumenteninhalten. Als die Zahl der universitären und militärischen Rechnerknotenpunkte stieg, wurde das Auffinden von Programmen und Texten zu einer manuellen Aufgabe. Forscher begannen deshalb mit der Entwicklung automatisierter Skripte, die Serververzeichnisse zyklisch abfragten und lokale Register anlegten.
Archie, Veronica und Jughead: Indizes vor dem Hypertext
Im November 1990 programmierte Alan Emtage als Systemadministrator an der McGill University in Montreal ein Werkzeug namens Archie. Archie gilt in der Informatikgeschichte als die erste funktionierende Internetsuchmaschine. Die Software kontaktierte regelmäßig anonyme FTP-Server, lud deren Verzeichnisstrukturen herunter und speicherte die Datei- und Ordnernamen in einer zentralen Datenbank. Anwender konnten über Befehlszeilen oder Telnet nach Dateinamen suchen, erhielten den Pfad zum Zielrechner und konnten die Datei anschließend herunterladen. Eine Volltextindizierung bot Archie nicht, da das System ausschließlich Metadaten und Pfade der Dateien verarbeitete.
Kurz nach Archie entstanden spezialisierte Suchdienste für das menübasierte Gopher-Protokoll. Im Jahr 1992 entwickelten Forscher an der University of Nevada das System Veronica, das die Menütitel tausender Gopher-Server bündelte. Wenig später folgte Jughead, ein ähnliches Werkzeug zur lokalen Menüabfrage einzelner Institutionen. Diese Protokolle strukturierten Informationsbestände hierarchisch vor, wurden jedoch binnen weniger Jahre durch das flexiblere World Wide Web verdrängt.
Geschichte der ersten Suchmaschinen im Internet: Der Schritt zu Hypertext und Volltext
Mit der Veröffentlichung von HTML verloren dateibasierte Verzeichnisse an Bedeutung. Hyperlinks verbanden Dokumente direkt miteinander, was neue Indexierungsmethoden erforderte. Matthew Gray entwickelte 1993 am Massachusetts Institute of Technology den World Wide Web Wanderer. Dieses Programm führte das Prinzip des Webcrawlers ein. Der Wanderer navigierte selbstständig durch Verknüpfungen von einer HTML-Seite zur nächsten, um das Wachstum des Netzes zu messen und URLs in der Datenbank Wandex zu erfassen.
Auf den Wanderer folgte JumpStation, bevor Brian Pinkerton an der University of Washington den WebCrawler entwickelte. WebCrawler wurde am 20. April 1994 veröffentlicht und markierte einen grundlegenden Entwicklungsschritt in der Geschichte der Internetsuche. Frühere Systeme speicherten Webadressen oder Seitentitel. WebCrawler lud stattdessen den kompletten Inhalt jeder erreichbaren HTML-Seite herunter und speicherte jedes einzelne enthaltene Wort in einem invertierten Index. Benutzer konnten damit erstmals nach beliebigen Begriffen suchen, die im Fließtext einer Website vorkamen. Um Serverüberlastungen durch automatische Abfragen zu steuern, etablierten Webmaster gemeinsame Standards, wie sie heute in den Spezifikationen zur Funktion von robots.txt festgelegt sind.
Die Ära von Lycos, Infoseek und AltaVista
Zwischen 1994 und 1996 wuchs das World Wide Web rasant, was zu einem Wettbewerb um den schnellsten und größten Datenbestand führte. Michael Mauldin stellte an der Carnegie Mellon University am 20. Juli 1994 die Suchmaschine Lycos vor. Zum Start umfasste der Katalog 54.000 Dokumente. Durch kontinuierliches Crawling wuchs der Bestand bis Ende August 1994 bereits auf über 634.000 erfasste Seiten an. Lycos analysierte Dokumente anhand ihrer Begriffsverteilung und ermittelte Trefferlisten über statistische Wortgewichtungen.
In dieser Phase experimentierten Unternehmen mit verschiedenen Monetarisierungsstrategien. Infoseek startete im Januar 1994 ursprünglich als gebührenpflichtiger Dienst, bei dem Nutzer pro Suchanfrage zahlten. Da dieses System die Nutzung hemmte, strich das Unternehmen das Bezahlmodell im August 1994 und startete im Februar 1995 als kostenloser, werbefinanzierter Dienst neu. Infoseek bewies damit frühzeitig die wirtschaftliche Tragfähigkeit digitaler Werbeeinblendungen in Trefferlisten.
Am 15. Dezember 1995 veröffentlichten die Palo Alto Research Labs der Digital Equipment Corporation das System AltaVista. AltaVista nutzte 64-Bit-Serverarchitekturen und bot für rund drei Jahre den schnellsten und umfassendsten Volltextindex im Netz. Die Plattform unterstützte erweiterte Suchabfragen mit Booleschen Operatoren und erfasste zweistellige Millionenmengen an Webseiten. Zeitgleich erschien im Oktober 1995 Excite, während Yahoo! als redaktionell gepflegtes Webverzeichnis Orientierung durch manuell zugeordnete Kategorien bot.
| Suchmaschine | Startdatum | Entwickler / Betreiber | Bedeutung für die Suchtechnik |
|---|---|---|---|
| Archie | 1990 | Alan Emtage (McGill University) | Automatisierte Indizierung von Dateinamen auf FTP-Servern |
| WebCrawler | 20. April 1994 | Brian Pinkerton (University of Washington) | Erste Volltextsuche über den gesamten Webseiteninhalt |
| Lycos | 20. Juli 1994 | Michael Mauldin (Carnegie Mellon University) | Rasantes Katalogwachstum und Textauszugsbewertung |
| Infoseek | Januar 1994 | Infoseek Corporation | Umstellung vom Pay-per-Use auf werbefinanzierte Web-Suche |
| AltaVista | 15. Dezember 1995 | Digital Equipment Corporation | Hardware-Indexierung für Millionenabfragen pro Tag |
Regionale Pioniere außerhalb Nordamerikas
Die englischsprachige Geschichtsschreibung konzentriert sich oft auf Suchdienste des Silicon Valley, doch in vielen Sprachräumen setzten sich lokale Entwicklungen durch. In Russland gründeten Arkady Volozh und Ilya Segalovich das Unternehmen Yandex, dessen Portal am 23. September 1997 unter yandex.ru den Betrieb aufnahm. Yandex basierte auf linguistischen und morphologischen Algorithmen für die russische Sprache, an denen die Gründer bereits seit 1990 gearbeitet hatten.
In Tschechien rief Ivo Lukačovič 1996 in Prag Seznam ins Leben. Seznam begann als Webverzeichnis tschechischer Internetseiten und erweiterte die Plattform 2005 um eine eigene Volltextsuchtechnologie. In Südkorea startete am 2. Juni 1999 das Portal Naver mit einer eigenständigen Suchmaschine. Naver führte im August 2000 die integrierte Suche ein, bei der die Trefferseite fest in kategorisierte Themenblöcke wie Nachrichten, Webseiten und Bilder unterteilt wird.
In China gründeten Robin Li und Eric Xu am 18. Januar 2000 in Peking die Suchmaschine Baidu. Robin Li hatte zuvor das patentierte System RankDex entwickelt, das Hyperlink-Strukturen analysierte, um Relevanzwerte für Webseiten zu berechnen.
Popularitätsmetriken und der Übergang zu Google
Mit der unkontrollierten Ausbreitung von Textmanipulationen verloren rein textbasierte Häufigkeitsanalysen an Zuverlässigkeit. Webmaster platzierten irrelevante Wörter im Quelltext, um Rankings künstlich zu verbessern. Suchdienste suchten deshalb nach externen Relevanzsignalen. Im Oktober arbeiteten Gary Culliss und Steven Yang am MIT an der Popularity Engine für Direct Hit Technologies. Dieses System beobachtete, welche Suchtreffer Anwender auswählten und wie lange sie auf den Zielseiten verweilten, um zukünftige Trefferlisten anzupassen.
Am 15. September 1997 ließen Larry Page und Sergey Brin die Internetadresse Google.com registrieren. Die Websuche startete für die Öffentlichkeit um das Jahr 1998. Google nutzte den PageRank-Algorithmus, der Verlinkungen zwischen Webseiten mathematisch wie Zitationen in der Wissenschaft behandelte. Diese Verlinkungsanalyse lieferte präzisere Ergebnisse als bisherige Volltextindizes. Parallel dazu verfeinerte sich die Trennung von organischen Treffern und bezahlter Werbung, wodurch das Web zu einem verlässlichen Informationsmedium reifte.
Das Schicksal eigenständiger Web-Indizes
Die Erstellung und kontinuierliche Pflege eines globalen Web-Indexes erfordert erhebliche Rechenressourcen, Speichersysteme und Bandbreiten. Aus diesem Grund verschwanden viele Suchdienste oder gaben ihre eigene Crawler-Infrastruktur auf. Einige Projekte behaupteten sich über längere Zeiträume als unabhängige Anbieter. Mojeek startete 2004, ging 2006 an die Öffentlichkeit und betreibt bis heute einen autarken Index ohne fremde Datenzulieferer. Gigablast betrieb rund 21 Jahre lang einen eigenen Webcrawler, stellte den Betrieb Anfang April 2023 jedoch unangekündigt ein.
Andere Versuche erwiesen sich als kurzlebig. Die Suchmaschine Cuil ging im Juli 2008 an den Start und stellte den Betrieb am 17. September 2010 ein. Zuletzt traten mit Marginalia ab dem 26. Februar 2021 und Brave Search ab dem 22. Juni 2021 neue Akteure mit eigenen Indizes an. Das werbefreie Abomodell von Neeva stellte sein Endkundenprodukt am 2. Juni 2023 ein. Für Nutzer, die Datenverfolgung meiden möchten, bieten private Suchmaschinen funktionale Alternativen abseits der großen Werbenetzwerke.
Weitere häufige Fragen
Was war die erste Suchmaschine im Internet?
Als erste Suchmaschine gilt Archie, die 1990 von Alan Emtage an der McGill University entwickelt wurde. Das Programm erfasste Dateilisten auf anonymen FTP-Servern, bot jedoch keine Volltextsuche im Dokumenteninhalt.
Wann entstand die erste Volltextsuchmaschine für Webseiten?
Am 20. April 1994 veröffentlichte Brian Pinkerton an der University of Washington den WebCrawler. Das System durchsuchte erstmals den vollständigen Text von HTML-Seiten und setzte damit den Standard für spätere Suchmaschinen.
Wie finanzierten sich Suchmaschinen vor der Google-Ära?
Dienste wie Infoseek versuchten zunächst, Gebühren pro Suchanfrage zu verlangen. Bereits 1995 setzte sich jedoch die Werbefinanzierung durch Banner und bezahlte Platzierungen als Standardmodell durch.
Welche Suchdienste beherrschten das Internet vor Google?
Vor Googles Marktführerschaft nutzten Internetanwender vor allem AltaVista, Lycos, WebCrawler, Infoseek, Excite sowie das redaktionell gepflegte Verzeichnis von Yahoo.
Verwandte Seiten
- Was ist eine Metasuchmaschine? Aufbau & Funktion
Eine Metasuchmaschine ist ein webbasiertes Abfragesystem, das Suchanfragen parallel an mehrere eigenständige Suchmaschinen weiterleitet und deren Ergebnisse zusammenführt. Da sie auf einen eigenen Webcrawler verzichtet, bündelt und bereinigt sie fremde Trefferlisten über standardisierte Fusionsalgorithmen. Für Nutzer entsteht dadurch eine breitere Übersicht über ein zentrales Suchfeld, während die kontaktierten Zieldienste die Identität der Anfragenden in der Regel nicht direkt erfassen.
- Wie funktionieren private Suchmaschinen im Netz?
Private Suchmaschinen schützen Nutzerdaten, indem sie Anfragen von IP-Adressen entkoppeln, keine identifizierenden Cookies setzen und keine persönlichen Suchverläufe speichern. Sie leiten Abfragen anonymisiert an fremde Indizes weiter oder greifen auf eigene Datenbestände zurück, ohne Profile zu monetarisieren.
- Wie funktioniert semantische Suche? Vektoren im Detail
Semantische Suche ermittelt die inhaltliche Bedeutung und Absicht einer Suchanfrage, anstatt Zeichenfolgen wörtlich abzugleichen. Sprachmodelle transformieren Texte dafür in dichte, mehrdimensionale Vektoren, deren Lage im Vektorraum über mathematische Distanzmaße wie die Kosinus-Ähnlichkeit verglichen wird. Spezialisierte Vektordatenbanken beschleunigen diese Ähnlichkeitsabfrage durch graphen- oder clusterbasierte Indexierungsverfahren.
- Wie funktioniert robots txt? Aufbau und Einsatz
Eine robots.txt ist eine Textdatei im Stammverzeichnis einer Website, die automatisierte Webcrawler steuert. Sie basiert auf dem 1994 geschaffenen und 2022 als RFC 9309 standardisierten Robots Exclusion Protocol, um Bots mitzuteilen, welche Pfade sie abrufen dürfen und welche gesperrt sind. Die Einhaltung dieser Anweisungen ist freiwillig und dient primär der Steuerung des Crawler-Verkehrs seriöser Suchmaschinen.
- Organische vs. bezahlte Suche: Die Unterschiede
Organische Suchergebnisse entstehen durch inhaltliche Relevanz sowie technische Optimierung ohne Gebühren pro Klick, während bezahlte Anzeigen über Auktionsmodelle sofortige Spitzenpositionen gegen Bezahlung liefern. Organische Platzierungen verzeichnen deutlich höhere Klickraten und schaffen beständige Reichweite, erfordern jedoch Geduld beim Aufbau. Bezahlte Kampagnen eignen sich für unmittelbare Sichtbarkeit und gezielte Aktionen, verursachen aber fortlaufende Werbekosten.
- Google Suchoperatoren: Anleitung für gezielte Abfragen
Google Suchoperatoren sind textbasierte Steuerbefehle und Symbole, mit denen sich Trefferlisten einer Websuche systematisch eingrenzen lassen. Durch die Kombination von Parametern wie Domainfiltern, Wortgruppen oder Ausschlusskriterien werden irrelevante Ergebnisse minimiert. Die Befehle unterstützen sowohl alltägliche Informationssuchen als auch technische Analysen von Webseiten.
Wie diese Seite entstanden ist
Vor dem Schreiben wurde das Thema in den unten genannten Quellen recherchiert. Danach hat die Seite automatische Qualitätsprüfungen bestanden.