İlk Arama Motorları Tarihi: Archie'den Web'e
Kısa cevap
İnternet üzerindeki verileri bulma ihtiyacı, 1990 yılında Alan Emtage tarafından geliştirilen Archie ile ilk yazılımsal çözümüne ulaştı. Dosya Aktarım Protokolü sunucularındaki arşivleri listeleyen bu ilk girişimi, 1994 yılında tam metin tarama yapan WebCrawler ve ardından Lycos, AltaVista ile Google izledi.
Ana maddeler
- Alan Emtage tarafından 1990 yılında geliştirilen Archie, dosya adlarını indeksleyen ilk arama motoru oldu.
- WebCrawler (1994), web sayfalarındaki metinlerin tamamını tarayarak arama mimarisinde yeni bir standart kurdu.
- Infoseek, ücretli modelden reklam destekli ücretsiz modele geçerek sektörün ana gelir yapısını belirledi.
- Yandex, Seznam, Naver ve Baidu, yerel dillerin gramer yapılarına odaklanarak kendi coğrafyalarında bağımsız dizinler oluşturdu.
- Google'ın PageRank algoritması, bağlantı analizini devreye sokarak kelime sıklığına dayalı eski sıralama yöntemlerini değiştirdi.
İlk arama motorları tarihi, modern web tarayıcılarının ortaya çıkışından önceye, dağıtık sunuculardaki dosyaları bulma ihtiyacına dayanır. Ağ üzerindeki ilk kayıt defteri sayılabilecek WHOis protokolü 1982 yılında devreye girmişti. Ancak bu sistem sadece alan ve kullanıcı bilgilerini içeriyordu. Dosya Aktarım Protokolü (FTP) sunucularında biriken arşivlerin kontrolsüz büyümesi, dosya isimlerini kataloglayan otonom yazılımların geliştirilmesini zorunlu kıldı.
İlk Arama Motorları Tarihi Nasıl Başladı?
İnternet ortamında veriye ulaşmayı sağlayan ilk program 1990 yılında McGill Üniversitesinde çalışan Alan Emtage tarafından yazıldı. Archie adı verilen bu sistem, anonim FTP sunucularına belirli aralıklarla bağlanarak sunuculardaki dosya dizinlerini topluyordu. Emtage, topladığı bu listeleri aranabilir bir veri tabanına dönüştürdü. Archie dosya içeriklerini okuma yeteneğine sahip değildi; kullanıcılar yalnızca dosya adlarını ve dizin yollarını sorgulayabiliyordu.
Archie yazılımını Gopher protokolü için geliştirilen Veronica ve Jughead gibi dizin araçları takip etti. Veronica, Gopher sunucularındaki menü başlıklarını tarayarak merkezi bir başlık fihristi oluşturdu. Bu erken dönem girişimleri, veritabanı sorgulamalarını hızlandıran veri yapılarının temelini attı. Dizinlerin arka planındaki teknik mimariyi kavramak için Ters İndeks Arama Motoru Mimarisi ve Çalışma Mantığı başlıklı rehber incelenebilir.
Ağ Taraması ve Tam Metin İndekslemenin Başlangıcı
World Wide Web altyapısının yaygınlaşması, salt dosya adlarının ötesine geçilmesini zorunlu kıldı. Matthew Gray tarafından yazılan The Wanderer, erken dönemde web siteleri arasındaki köprüleri takip eden ilk otomatik bot oldu. Bu yazılım başlangıçta ağın fiziksel büyüklüğünü ölçmek için tasarlanmış olsa da web sayfalarının taranıp dizine eklenmesi fikrini kanıtladı.
Washington Üniversitesinden Brian Pinkerton, 20 Nisan 1994 tarihinde WebCrawler platformunu yayımladı. WebCrawler, kendisinden önceki dizinlerden farklı olarak web sayfalarının içindeki tüm sözcükleri tarayıp indeksledi. Bu sistem sayesinde kullanıcılar, başlıkta yer almasa bile doküman gövdesinde geçen herhangi bir ifadeyi aratabilir hale geldi. Doküman içeriğindeki her sözcüğü dizine ekleme yaklaşımı, sonraki dönemde tüm büyük arama motorlarının temel çalışma prensibi oldu.
Aynı yıl Carnegie Mellon Üniversitesinde Michael Mauldin tarafından Lycos geliştirildi. 20 Temmuz 1994 tarihinde 54 bin belgeyle erişime açılan Lycos, Ağustos ayı sonuna gelindiğinde 634 bin dokümanlık bir dizin büyüklüğüne ulaştı. Lycos, belgelerdeki metinlerin sıklığını ve bağlantı yoğunluklarını analiz ederek alaka düzeyi hesaplayan ilk sistemler arasında yer aldı.
Rekabet ve İş Modellerinin Oluşumu
Arama motorlarının işletme ve bant genişliği maliyetleri, ticari modellerin geliştirilmesini zorunlu kıldı. Ocak 1994 tarihinde kullanıma sunulan Infoseek, başlangıçta sorgu başına ödeme gerektiren ücretli bir servis olarak faaliyet gösterdi. Bu model kullanıcı sayısının sınırlı kalmasına yol açtı. Aynı yılın Ağustos ayında ücretli modeli terk eden servis, Şubat 1995'te gelirini reklamlarla sağlayan ücretsiz bir sisteme geçti. Bu adım, sektörün sonraki ticari modelinin temelini attı. Farklı arama modellerinin işleyişini incelemek için organik arama vs ücretli arama analizi referans alınabilir.
Ekim 1995 tarihinde yayına giren Excite, sorgulardaki kelime birlikteliklerini istatistiksel modellerle gruplandırarak arama sonuçlarını iyileştirmeye çalıştı. Digital Equipment Corporation'ın Palo Alto araştırma laboratuvarı, AltaVista arama motorunu 15 Aralık 1995'te kullanıma sundu. 64-bit işlemci mimarisi üzerinde çalışan AltaVista, günde milyonlarca sorguyu yanıtlayarak dönemin en hızlı tam metin arama sistemi oldu. AltaVista; arama sorgularında Boolean mantık operatörlerinin kullanımına ve doğal dil girişlerine izin vererek yaklaşık üç yıl boyunca pazar lideri konumunu korudu.
| Arama Motoru | Çıkış Yılı | Geliştirici veya Kurum | Temel İşlev Özelliği |
|---|---|---|---|
| Archie | 1990 | Alan Emtage | FTP sunucularındaki dosya adlarını listeleme |
| WebCrawler | 1994 | Brian Pinkerton | İlk tam metin (full-text) web araması |
| Lycos | 1994 | Michael Mauldin | Belge özetleme ve bağlantı alaka hesabı |
| Infoseek | 1994 | Steve Kirsch | Reklam destekli arama gelir modeli |
| AltaVista | 1995 | Digital Equipment Corp. | Hızlı dizinleme ve Boolean operatör desteği |
| 1997 | Larry Page, Sergey Brin | PageRank bağlantı analizi algoritması |
Bölgesel Arama Ağları ve Dil Odaklı Sistemler
Batı merkezli arama motorları İngilizce metinleri işlemeye odaklanırken, yerel dillerin dilbilgisi kuralları bölgesel platformların kurulmasına zemin hazırladı. Rusya'da Arkady Volozh ve Ilya Segalovich, 1990 yılından itibaren yürüttükleri Rusça morfoloji çalışmalarını 23 Eylül 1997 tarihinde Yandex bünyesinde kullanıma açtı. Yandex, Rusçanın morfolojik yapısını çözümleyen algoritması sayesinde bölgedeki küresel rakiplerinden daha isabetli sonuçlar sundu.
Çek Cumhuriyeti'nde Ivo Lukacovic tarafından 1996 yılında bir web rehberi olarak kurulan Seznam, 2005 yılında kendi tam metin arama teknolojisini devreye aldı. Güney Kore'de 2 Haziran 1999 tarihinde kurulan Naver, ülkenin kendi arama altyapısına sahip ilk servisi oldu. Naver, Ağustos 2000 döneminde sonuç sayfasını web siteleri, haberler ve bloglar gibi ayrı kategorilere ayıran bütünleşik arama düzenini tanıttı.
Çin pazarında ise Robin Li ve Eric Xu tarafından 18 Ocak 2000 tarihinde Pekin'de Baidu kuruldu. Robin Li, web sayfalarını sıralamak için RankDex adlı bağlantı analizi yönteminin patentini almıştı. Baidu, RankDex algoritmasını Çince karakter yapısına uyarlayarak yerel pazarda hakimiyet kurdu.
Sıralama Algoritmaları ve Bağımsız Dizinler
İlk dönem arama motorlarının tamamı, aranan kelimenin sayfada kaç kez geçtiğini ölçen anahtar kelime sıklığı yöntemine güveniyordu. Bu durum, web yöneticilerinin beyaz zemin üzerine beyaz metin yazarak sayfaları manipüle etmesine neden oldu. Arama kalitesini düzeltmek için tıklama alışkanlıklarını ölçen yöntemler denendi. Gary Culliss ve Steven Yang, Ekim ayında MIT bünyesinde kullanıcıların arama sonrasındaki tercihlerini izleyen bir sıralama motoru geliştirdi. Bu çalışma Direct Hit Technologies adıyla şirketleşti ve tıklanma sıklığını sıralama kriteri yaptı.
15 Eylül 1997 tarihinde Google.com alan adı tescil edildi. Larry Page ve Sergey Brin, web sitelerini birbirine bağlayan köprüleri akademik atıflar gibi puanlayan PageRank algoritmasını hayata geçirdi. Google, 1998 yılında genel kullanıma açıldıktan sonra manipülasyona karşı daha dirençli olan bu bağlantı analizi sayesinde hızla öne geçti. Arama sistemlerinin sonraki evresini anlamak adına Semantik Arama Nasıl Çalışır: Vektörel Arama Mimarisi konusundaki teknik açıklamalar rehber niteliğindedir.
Pazardaki yoğunlaşmaya rağmen kendi bağımsız dizinini (web crawler) çalıştıran az sayıda alternatif üretildi:
- Mojeek: 2004 yılında kurulan ve 2006'da halka açılan platform, dış kaynaklardan sonuç almadan tamamen kendi dizinini kullandı.
- Gigablast: 2000 yılından itibaren yirmi bir yıl boyunca bağımsız web tarayıcısı çalıştırdıktan sonra Nisan 2023 başında kapandı.
- Cuil: Temmuz 2008'de kapsamlı bir indeks iddiasıyla faaliyete geçti ve 17 Eylül 2010 tarihinde kapandı.
- Neeva: Reklamsız ve abonelik temelli bağımsız bir arama deneyimi hedefledi; 2 Haziran 2023 tarihinde bireysel servisini sonlandırdı.
- Brave Search: Kendi dizinini kurma hedefiyle 22 Haziran 2021 tarihinde genel beta sürümünü başlattı.
- Marginalia: Metin ağırlıklı geleneksel internet sitelerini öne çıkaran bağımsız arama motoru projesi olarak ilk kodunu 26 Şubat 2021'de paylaştı.
İlgili sayfalar
- Meta Arama Motoru Nedir: Mimarisi ve İşleyişi
Meta arama motoru, kullanıcı sorgusunu bağımsız web dizinlerine ileterek gelen sonuçları tek bir ekranda derleyen toplayıcı bir sistemdir. Kendi arama dizinini veya ağ örümceğini barındırmak yerine üçüncü taraf arama platformlarının verilerini harmanlar, mükerrer kayıtları ayıklar ve kendine ait kurallarla sıralar. Bu altyapı tek sorguyla daha geniş bir ağ taraması yapılmasına ve istemcinin IP adresinin hedef motorlardan gizlenmesine olanak tanır.
- Gizlilik Odaklı Arama Motorları Nasıl Çalışır?
Gizlilik odaklı arama motorları, arama terimlerini IP adresi, çerezler veya tarayıcı parmak izi gibi kişisel tanımlayıcılarla ilişkilendirmeden işler. Kullanıcı ile web dizinleri arasında yalıtılmış bir köprü kurarak arama geçmişinin kaydedilmesini ve reklam profilleri oluşturulmasını engeller. Bu platformlar veri toplamak yerine sorguları anonimleştirir veya tamamen bağımsız indeksler üzerinden sunar.
- Semantik Arama Nasıl Çalışır: Vektörel Arama Mimarisi
Semantik arama, kullanıcı sorgusundaki sözcükleri birebir eşleştirmek yerine sorgunun arkasındaki anlamı, bağlamı ve niyeti çözümler. Metin, görsel veya ses verilerini çok boyutlu sayısal vektörlere dönüştürerek çalışan bu sistem, vektör uzayındaki matematiksel yakınlık hesaplamaları üzerinden en alakalı sonuçları listeler.
- organik arama vs ücretli arama: Temel Farklar
Organik arama, web sayfalarının arama algoritmaları tarafından alaka düzeyine göre ücretsiz listelenmesini ifade ederken ücretli arama, tıklama başına maliyetle en üst konumlarda yer almayı sağlayan reklam modelidir. Organik stratejiler uzun vadeli trafik ve marka güvenilirliği oluşturur. Ücretli kampanyalar ise anlık görünürlük sağlayarak hedeflenen kitleye hızla ulaşır.
- Google Arama Operatörleri: Arama ve Denetim Rehberi
Google arama operatörleri, standart anahtar kelime sorgularını daraltmak ve belirli parametrelere göre filtrelemek için kullanılan özel komut ve sembollerdir. Bu komutlar alan adı, sayfa başlığı, URL yapısı ve dosya uzantısı gibi alanlarda doğrudan dizin taraması yapmayı sağlar. Birlikte kullanıldıklarında hem içerik araştırmalarında hem de teknik site denetimlerinde kesin sonuçlar verir.
- Ters İndeks Arama Motoru Mimarisi ve Çalışma Mantığı
Ters indeks, arama motorlarında metin içerisindeki sözcükleri bulundukları belgelere ve konumlara bağlayan bir veri yapısıdır. Belgeleri tek tek taramak yerine kelimeden belgeye doğrudan erişim sunarak sorgu süresini milisaniyeler seviyesine indirir. Kayıt düzeyi ve kelime düzeyi olmak üzere iki ana biçimde kurgulanır.
Bu sayfa nasıl hazırlandı
Yazmadan önce konu aşağıdaki kaynaklarda araştırıldı. Sayfa ardından otomatik kalite denetimlerinden geçti.