Ters İndeks Arama Motoru Mimarisi ve Çalışma Mantığı
Kısa cevap
Ters indeks, arama motorlarında metin içerisindeki sözcükleri bulundukları belgelere ve konumlara bağlayan bir veri yapısıdır. Belgeleri tek tek taramak yerine kelimeden belgeye doğrudan erişim sunarak sorgu süresini milisaniyeler seviyesine indirir. Kayıt düzeyi ve kelime düzeyi olmak üzere iki ana biçimde kurgulanır.
Ana maddeler
- Düz indeks belgeleri kelimelere eşlerken, ters indeks kelimeleri belgelerin kimliklerine eşler.
- Kelime düzeyindeki tam ters indeksler, tam ifade aramaları için sözcüklerin metin içindeki tam konumlarını tutar.
- Arama motorları boyut tasarrufu sağlamak için posta listelerinde delta kodlama ve değişken bayt gibi algoritmalar uygular.
- Veri yapısı bilgi erişimin yanı sıra biyoinformatikte DNA dizilimi analizlerinde de kullanılır.
Bilgi erişim sistemlerinde ters indeks arama motoru mimarisinin merkezinde yer alan bir dizinleme veri yapısıdır. Milyonlarca web belgesi içinde tek bir kelimeyi ararken tüm belgeleri baştan sona taramak hesaplama açısından yüksek maliyet üretir. Ters indeksleme yöntemi, arama sürecini tersine çevirerek kelimeleri anahtar, belgeleri ise değer haline getirir. Kullanıcı bir sorgu girdiğinde sistem belgenin içeriğini değil, terimin önceden hazırlanmış referans listesini okur.
Düz İndeks ile Ters İndeks Arasındaki Temel Farklar
Geleneksel bir depolama sisteminde veriler belge kimliği ekseninde tutulur. Bu formata düz indeks (forward index) adı verilir. Düz dizinde her belgenin karşısında içerdiği kelimelerin listesi yer alır. Bir kullanıcı belirli bir terimi aradığında, arama motoru her belge kaydına tek tek girip kelimenin listede olup olmadığını denetlemek zorunda kalır.
Ters dizin ise bu listeyi tamamen ters yüz eder. Sözlükteki her benzersiz terim bağımsız bir anahtar haline gelir ve bu anahtarın altında kelimenin geçtiği belge numaraları sıralanır. Böylelikle arama işlemi doğrusal taramadan doğrudan bellek adresine sıçrama işlemine dönüşür.
| Özellik | Düz İndeks (Forward Index) | Ters İndeks (Inverted Index) |
|---|---|---|
| Yapısal Yönelim | Belge Kimliği → Kelimeler | Kelime → Belge Kimlikleri Listesi |
| Arama Karmaşıklığı | Tüm belgeleri kontrol eder (Yavaş) | Doğrudan terim tablosuna erişir (Hızlı) |
| Kullanım Aşaması | Veri toplama ve ayrıştırma adımı | Son kullanıcı sorgularını yanıtlama adımı |
| Depolama Düzeni | Doküman odaklı sıralı bloklar | Terim temelli posta listeleri (Posting lists) |
Ters İndeks Arama Motoru Tarafından Nasıl Oluşturulur?
Arama motorlarının dizin oluşturma süreci ham verilerin toplanmasıyla başlar. Sürecin ilk adımında botların sayfaları nasıl gezdiğini anlamak için web crawler nasıl çalışır konusundaki temel işleyişi incelemek gerekir. Tarayıcılar web üzerindeki sayfaları çekerken sitelerin tarama kurallarına uyar; bu sınırları denetleyen mekanizma hakkında bilgi almak için robots.txt rehberi incelenebilir. Toplanan ham HTML içerikleri metin ayrıştırma işlemine tabi tutulur.
Metin ayrıştırma aşamasında şu adımlar sırasıyla işletilir:
- Sözcük Parçalama (Tokenization): Ham metin noktalama işaretlerinden temizlenir ve bağımsız sözcük birimlerine ayrılır.
- Büyük-Küçük Harf Normalizasyonu: Tüm karakterler küçük harfe dönüştürülerek yazım varyasyonları eşitlenir.
- Gereksiz Kelimelerin Temizlenmesi (Stop-words): Dil yapısında sık geçen ancak ayırt edici anlam taşımayan bağlaç ve edatlar ayıklanır.
- Kök Bulma (Stemming ve Lemmatization): Kelimeler eklerinden arındırılarak taban köklerine indirgenir.
- Ters Çevirme (Inversion): Düz doküman listeleri terim bazlı listelere dönüştürülür ve her terim için bir posta listesi (posting list) oluşturulur.
Ters İndeks Türleri: Kayıt Düzeyi ve Kelime Düzeyi
Ters dizinler tuttukları verinin ayrıntısına bağlı olarak iki ana kategoriye ayrılır. Sistem tasarımcıları depolama alanı ile sorgu kabiliyeti arasında bir tercih yapmak zorundadır.
Kayıt Düzeyi Ters İndeks (Record-Level Inverted Index)
Kayıt düzeyi dizinler, bir kelimenin yalnızca hangi belgelerde yer aldığını saklar. Örneğin bir sözcüğün birinci, beşinci ve sekizinci belgelerde geçtiği bilgisi listeye yazılır. Bu liste kelimenin belge içinde kaç kez geçtiğini veya hangi sırada olduğunu barındırmaz. Az yer kaplar ve doğrudan tekil kelime aramalarında oldukça hızlı yanıt verir. Fakat birden fazla kelimenin yan yana geçtiği tırnak içi tam ifade aramalarını desteklemez.
Kelime Düzeyi Ters İndeks (Word-Level Inverted Index)
Tam ters indeks olarak da bilinen bu varyant, kelimenin geçtiği belge numarasının yanına belgedeki sıra konumunu da (offset) kaydeder. Bir kelimenin belgedeki 3. ve 45. sözcük olduğu bilgisi indeks tablosuna işlenir. Bu yapı sayesinde arama motoru iki kelimenin aralarında boşluk olmadan yan yana bulunup bulunmadığını belgeleri açmadan tespit edebilir. Sözcük yakınlığı (proximity) sorguları bu sayede çalışır. Kelime düzeyi dizinler ek konumsal veriler sebebiyle çok daha fazla bellek ve işlemci gücü gerektirir.
Posta Listesi (Posting List) ve Sıkıştırma Yöntemleri
Ters dizinde her terimin işaret ettiği belge kimlikleri dizisine posta listesi (posting list) denir. Milyarlarca sayfalık bir koleksiyonda yaygın kelimelerin posta listeleri milyonlarca tam sayı barındırır. Bu listelerin bellekte kapladığı yeri küçültmek için matematiksel sıkıştırma algoritmaları devreye girer.
Arama motorları belge numaralarını doğrudan saklamak yerine ardışık belgeler arasındaki farkları (d-gaps) saklar. Belgelerin [105, 108, 115, 120] numaralarına sahip olduğu bir durumda, fark kodlaması listeyi [105, 3, 7, 5] şeklinde kaydeder. Sayıların küçülmesi, harcanan bit miktarını düşürür. Bu küçük tam sayıları sıkıştırmak için değişken bayt (variable byte) kodlaması veya Elias Gamma kodlaması gibi yaklaşımlar tercih edilir. Değişken bayt algoritması küçük sayılar için 4 bayt yerine tek bayt kullanarak veri tabanı boyutunu ciddi oranda küçültür.
Sorguların Çözümlenmesi ve Sıralama Aşaması
Kullanıcı birden fazla kelimeyle arama yaptığında ters indeks üzerinde küme mantığı yürütülür. Boolean sorgularında işlem adımları posta listelerinin taranmasıyla gerçekleşir:
- VE (AND) Sorgusu: Aranan iki terimin posta listeleri alınır. İki işaretçi (pointer) yardımıyla listeler baştan sona paralel biçimde yürütülür. Her iki listede ortak bulunan belge kimlikleri sonuç kümesine eklenir.
- VEYA (OR) Sorgusu: Listeler birleştirilir ve yinelenen belgeler ayıklanarak sıralı tek bir sonuç listesi elde edilir.
- DEĞİL (NOT) Sorgusu: İlk terimin listesinde yer alan ancak hariç tutulmak istenen terimin listesinde bulunan belgeler çıkarılır.
Ters indeks hangi belgelerin sorguyla eşleştiğini bulduktan sonra sonuçların sırasını belirlemek üzere metin alaka puanları ile bağlantı gücünü birleştirir. Sayfaların genel otorite puanını hesaplayan sistem hakkında detaylı bilgi için PageRank algoritması mantığı sayfası referans alınabilir. Eşleşen dokümanlar bu algoritmaların ortak puanlamasına göre kullanıcıya listelenir.
Biyoinformatik ve Diğer Uygulama Alanları
Ters dizin yapısı yalnızca web aramalarıyla sınırlı değildir. Metin tabanlı veri tabanları ve Sphinx Search gibi açık kaynaklı arama kütüphaneleri bu mimariyi kullanır. Bilgisayar çağından önce dahi önemli dini ve edebi metinlerin içindeki kelimeleri listelemek için elle hazırlanan konkordans çalışmaları ters indeksin ilk örnekleridir.
Biyoinformatik alanında DNA sekans analizi yapılırken kısa DNA parçalarının kaynak genomdaki yerini tespit etmek için ters dizinlerden yararlanılır. Referans insan genomu 3 milyardan fazla baz çifti içerir. Hata toleransı sağlamak adına DNA parçaları alt dizilimlere bölünür ve bu alt dizilimler referans genom üzerinde ters dizin yöntemiyle taranır. Bu boyuttaki bir genom dizinini saklamak ve 32-bit tam sayılarla adreslemek onlarca gigabaytlık bellek kapasitesi gerektirir. Ters indeksleme, biyolojik araştırmalarda milyarlarca baz çifti arasından saniyeler içinde eşleşme bulmayı mümkün kılar.
Sık sorulan diğer sorular
Ters indeks ile düz indeks arasındaki fark nedir?
Düz indeks belgelerin hangi sözcükleri içerdiğini tutarken, ters indeks her sözcüğün hangi belgelerde ve hangi konumlarda geçtiğini saklar.
Arama motorları posta listelerini neden sıkıştırır?
Posta listeleri milyonlarca belge kimliği içerebildiğinden, bellek tüketimini azaltmak ve diskten okuma hızını artırmak için delta kodlama ve değişken bayt gibi algoritmalarla sıkıştırılır.
Kelime düzeyi ters indeks ne işe yarar?
Kelime düzeyi ters indeks, sözcüklerin belge içindeki tam sıralı konumlarını saklayarak tırnak içi tam ifade ve sözcük yakınlığı aramalarının yapılmasını sağlar.
İlgili sayfalar
- İlk Arama Motorları Tarihi: Archie'den Web'e
İnternet üzerindeki verileri bulma ihtiyacı, 1990 yılında Alan Emtage tarafından geliştirilen Archie ile ilk yazılımsal çözümüne ulaştı. Dosya Aktarım Protokolü sunucularındaki arşivleri listeleyen bu ilk girişimi, 1994 yılında tam metin tarama yapan WebCrawler ve ardından Lycos, AltaVista ile Google izledi.
- Meta Arama Motoru Nedir: Mimarisi ve İşleyişi
Meta arama motoru, kullanıcı sorgusunu bağımsız web dizinlerine ileterek gelen sonuçları tek bir ekranda derleyen toplayıcı bir sistemdir. Kendi arama dizinini veya ağ örümceğini barındırmak yerine üçüncü taraf arama platformlarının verilerini harmanlar, mükerrer kayıtları ayıklar ve kendine ait kurallarla sıralar. Bu altyapı tek sorguyla daha geniş bir ağ taraması yapılmasına ve istemcinin IP adresinin hedef motorlardan gizlenmesine olanak tanır.
- Gizlilik Odaklı Arama Motorları Nasıl Çalışır?
Gizlilik odaklı arama motorları, arama terimlerini IP adresi, çerezler veya tarayıcı parmak izi gibi kişisel tanımlayıcılarla ilişkilendirmeden işler. Kullanıcı ile web dizinleri arasında yalıtılmış bir köprü kurarak arama geçmişinin kaydedilmesini ve reklam profilleri oluşturulmasını engeller. Bu platformlar veri toplamak yerine sorguları anonimleştirir veya tamamen bağımsız indeksler üzerinden sunar.
- Semantik Arama Nasıl Çalışır: Vektörel Arama Mimarisi
Semantik arama, kullanıcı sorgusundaki sözcükleri birebir eşleştirmek yerine sorgunun arkasındaki anlamı, bağlamı ve niyeti çözümler. Metin, görsel veya ses verilerini çok boyutlu sayısal vektörlere dönüştürerek çalışan bu sistem, vektör uzayındaki matematiksel yakınlık hesaplamaları üzerinden en alakalı sonuçları listeler.
- organik arama vs ücretli arama: Temel Farklar
Organik arama, web sayfalarının arama algoritmaları tarafından alaka düzeyine göre ücretsiz listelenmesini ifade ederken ücretli arama, tıklama başına maliyetle en üst konumlarda yer almayı sağlayan reklam modelidir. Organik stratejiler uzun vadeli trafik ve marka güvenilirliği oluşturur. Ücretli kampanyalar ise anlık görünürlük sağlayarak hedeflenen kitleye hızla ulaşır.
- Google Arama Operatörleri: Arama ve Denetim Rehberi
Google arama operatörleri, standart anahtar kelime sorgularını daraltmak ve belirli parametrelere göre filtrelemek için kullanılan özel komut ve sembollerdir. Bu komutlar alan adı, sayfa başlığı, URL yapısı ve dosya uzantısı gibi alanlarda doğrudan dizin taraması yapmayı sağlar. Birlikte kullanıldıklarında hem içerik araştırmalarında hem de teknik site denetimlerinde kesin sonuçlar verir.
Bu sayfa nasıl hazırlandı
Yazmadan önce konu aşağıdaki kaynaklarda araştırıldı. Sayfa ardından otomatik kalite denetimlerinden geçti.