Wesloo
Tüm konularKonular

Arama motorları

Web Crawler Nasıl Çalışır? Arama Motoru Botları

Kısa cevap

Web crawler, bir adres listesinden başlayıp sayfaları indiren, içindeki bağlantıları takip eden ve topladığı veriyi arama motorunun indeksine aktaran otomatik bir programdır. Çalışma döngüsü istek gönderme, HTML ayrıştırma, bağlantı çıkarma ve kaydetme adımlarından oluşur. Hangi sayfanın ne sıklıkla taranacağını tarama bütçesi ve seçilen politika belirler, robots.txt ise botlara sınırları bildirir.

Ana maddeler

  • Crawler bir URL listesiyle başlar, istek gönderir, dönen HTML'i ayrıştırır ve bulduğu bağlantıları kuyruğa ekleyerek döngüyü sürdürür.
  • Arama motorları sayfaları keşfetmek ve indekslemek için crawler kullanır; sonuç sıralaması bu kayıtlara dayanır.
  • robots.txt hangi kaynakların istenebileceğini söyler, ancak kurallara uymayan botları durdurmaz.
  • Tarama bütçesi sınırlıdır; ortalama tazelik açısından eşit politika, orantılı politikadan daha iyi sonuç verir.
  • Saniyede çok sayıda istek gönderen bir bot sunucuyu zorlayabilir; günlük takibi ve hız sınırı temel korumadır.

Bir web crawler nasıl çalışır sorusunun kısa cevabı şu: elindeki adres listesinden bir URL alır, sunucuya istek gönderir, dönen HTML'i ayrıştırır, sayfada bulduğu bağlantıları listeye ekler ve liste tükenene kadar aynı döngüyü sürdürür. Örümcek, spider ya da bot denen bu programlar arama motorlarının web'i indekslemesini sağlar. İnternette milyarlarca sayfa birbirine bağlı olduğu için bu işi elle yapmak mümkün değil; tarama yazılımları bir insanın ulaşabileceği hızın ve kapsamın çok ötesine geçer.

Web crawler nedir, neden örümcek denir?

Arama motorlarının içerik keşfi için çalıştırdığı otomatik programlara web crawler denir. Aynı yazılım için spider, spiderbot, bot ve arama motoru botu ifadeleri de kullanılır; hepsi interneti tarayıp sayfaları kaydeden programı anlatır. Terimler günlük kullanımda birbirinin yerine geçer, aralarında kesin bir teknik sınır yoktur.

Crawler'ın çıktısı sayfanın ham bir kopyası değildir. Sayfanın metni, bağlantı yapısı ve içerikle ilgili diğer veriler kaydedilir. Arama motoru bu kaydı kullanıcının sorgusuyla eşleştirir ve sonuç sayfasını üretir. İş üç katmana ayrılır: crawler toplar, indeksleyici anlamlandırır, sıralama algoritması hangi sayfanın üstte çıkacağına karar verir.

Bir web crawler nasıl çalışır, hangi adımlardan geçer?

Tek bir tarama turu birbirini izleyen sabit adımlarla ilerler. Sıra değişse de mantık aynı kalır.

  1. Çekirdek adres listesi belirlenir; crawler bu adreslerle işe başlar.
  2. Sıradaki URL alınır ve ilgili sunucuya HTTP isteği gönderilir.
  3. Sunucu sayfanın HTML'ini geri gönderir. Görsel, PDF ya da stil dosyası gibi ek kaynaklar da istenebilir.
  4. Crawler HTML'i ayrıştırır ve sayfadaki bağlantıları toplar.
  5. Daha önce görülmemiş bağlantılar kuyruğun sonuna eklenir.
  6. Sayfanın içeriği ve yapısına dair veriler veritabanına yazılır.
  7. Kuyruk boşalana ya da tanımlı bir sınır dolana kadar döngü sürer.

Aynı adresin tekrar tekrar indirilmesini engellemek için crawler ziyaret ettiği URL'leri kaydeder. Bu kayıt olmasaydı birbirine bağlı iki sayfa sonsuza kadar birbirini beslerdi.

Crawler hangi sayfayı ne zaman yeniden tarar?

Tarama bütçesi sınırlıdır: bir bot belirli bir süre içinde ancak belirli sayıda sayfa indirebilir. Bu yüzden hangi sayfaya ne sıklıkla dönüleceği bir politikaya bağlanır. İki temel yaklaşım var.

  • Eşit (uniform) politika: sayfalar arasında kaynağı dengeli dağıtır, her adrese yaklaşık aynı sıklıkta döner.
  • Orantılı (proportional) politika: sık değişen sayfalara daha fazla kaynak ayırır.

Cho ve Garcia-Molina'nın ölçümü şaşırtıcı bir tablo ortaya koyar: tazeliğin ortalaması alındığında eşit politika, hem simülasyonda hem gerçek bir taramada orantılı politikayı geride bırakır. Sebebi basit. Orantılı politika hızlı değişen sayfalara çok dönüş yapar, ama bu sayfaların tazeliği kısa sürer; yavaş güncellenen sayfalar ise ihmal edildiği için bayatlar.

PolitikaKaynağı nereye ayırırOrtalama tazelik
EşitSayfalar arasında dengeli dağıtırDaha yüksek
OrantılıSık değişen sayfalara ağırlık verirDaha düşük

robots.txt crawler'a hangi sınırları çizer?

Site sahipleri, hangi kaynakların istenip hangilerinin istenemeyeceğini robots.txt dosyası üzerinden duyurur. Bot bu dosyaya bakarak hangi bağlantıların peşinden gideceğini, hangilerini es geçeceğini belirler. Kuralların nasıl yazıldığını ve hangi botları bağladığını robots.txt nasıl çalışır rehberinde ayrıntılı bulabilirsiniz.

Dosyanın sınırı şurada: robots.txt bir izin bildirimi, teknik bir engel değil. Kurallara uyan botlar listeye saygı duyar, uymayanlar hiç bakmaz. Gerçek koruma için sunucu tarafında istek hızı sınırı, kimlik doğrulama ve gerekirse IP bazlı engelleme gerekir.

Spider trap nedir, crawler nasıl tuzağa düşer?

Dinamik üretilen adresler crawler'ları sonsuz döngüye sokabilir. Takvim, oturum kimliği ya da filtre parametreleri yüzünden aynı içerik sınırsız sayıda farklı URL altında sunulabilir; bot her yeni adresi ayrı bir sayfa sanıp indirmeye devam eder. Bu yapıya spider trap denir.

Bazı crawler bu yüzden adresinde soru işareti bulunan kaynakları hiç istemez. Yöntem işe yarar görünse de güvenilir değildir: site URL yeniden yazma kullanıp adresleri sadeleştiriyorsa, aynı dinamik içerik artık soru işareti içermez ve filtre boşa çıkar.

Ters yönde çalışan bir yaklaşım da var. Yol yükselten (path-ascending) crawler, taramak istediği adresin üst dizinlerine de uğrar. Örneğin /hamster/monkey/ adresiyle başladığında /hamster/ ve kök dizini de dener. Cothey'in çalışması, yol yükselten taramanın başka sayfalardan bağlantı almayan, izole kalmış kaynakları yakalamakta çok başarılı olduğunu gösteriyor.

Tarama sunucuya ne kadar yük bindirir?

Bir crawler'in hızı ve kapsamı insan ziyaretçininkiyle kıyaslanamaz; bu yüzden kötü yapılandırılmış bir tarama sitenin performansını ciddi biçimde düşürebilir. Saniyede birden çok istek atan ya da iri dosyalar indiren tek bir bot bile, sunucunun gelen istekleri yetiştirmesini zorlaştırır. Aynı siteye birkaç botun yüklendiği durumlarda etki katlanır.

Belirtiler tanıdıktır: yanıt süreleri uzar, sunucu hataları artar, bant genişliği beklenmedik şekilde tükenir. Çözüm tarafında sunucu günlüklerini izlemek, istek hızını sınırlamak ve gerekiyorsa belirli botları engellemek yer alır.

Arama motoru botları sayfadan hangi verileri toplar?

Crawler sayfayı indirdiğinde başlık etiketi, meta etiketleri, başlık hiyerarşisi ve gövde metni gibi öğeleri inceler. Bu öğeler sayfanın ne anlattığını ve bir sorguyla ne kadar ilgili olduğunu çıkarmak için kullanılır. Toplanan veri bir veritabanına işlenir, ardından sıralama algoritmaları devreye girer.

Roller burada ayrışır: crawler keşfeder, arama motoru değerlendirir. Sayfanın bağlantı yapısı da bu değerlendirmeye girer; başka sayfalardan gelen bağlantılar botun adresi bulmasını ve içeriğin ağırlık kazanmasını etkiler. Tarama yazılımını çalıştıran taraf her zaman arama motoru değildir.

TürNe için kullanılır
Arama motoru botuSayfaları keşfetmek ve indekslemek
Araştırma crawler'ıAkademik çalışma için veri toplamak
Pazarlama crawler'ıMüşteri ve rakip bilgisi toplamak
Kötü niyetli crawlerÖzel veriyi kopyalamak, sunucuyu yavaşlatmak

Botun okuduğu HTML ile kullanıcının gördüğü arayüz aynı kaynaktan gelir. Yapısal işaretleme hem botların içeriği doğru çözmesini hem de ekran okuyucu kullanan kişilerin sayfada gezinmesini kolaylaştırır; erişilebilirlik klavye kısayolları tarafındaki çalışmalar da aynı ilkeye dayanır.

Gelen botu sunucu günlüklerinden tanımak

Sunucu, siteye gelen her isteği kaydeder; botlar da bu kayıtta görünür. Kayıtlarda botun adı geçer, örneğin Google'ın crawler'ı Googlebot/2.1 olarak işaretlenir. Aynı satırda istenen adres, yanıt kodu ve zaman damgası bulunur.

Bu kayıtları incelemek iki soruya cevap verir: siteye hangi botlar ne sıklıkla geliyor ve hangi adresler hata döndürüyor. Günlükleri komut satırından filtrelemek çoğu zaman en hızlı yol; terminal klavye kısayolları rehberi bu işi hızlandıran tuş kombinasyonlarını listeliyor.

Crawler dostu bir site için ne yapılmalı?

  • Önemli sayfaları birbirine bağlayın; hiç bağlantı almayan içerik keşfedilmeyebilir.
  • Adresleri sade tutun, oturum kimliği ve gereksiz parametreleri URL'den çıkarın.
  • robots.txt içinde tarama dışı bırakılacak alanları net biçimde tanımlayın.
  • Sunucu günlüklerini düzenli kontrol edip beklenmeyen tarama artışlarını erken yakalayın.
  • Yanıt sürelerini kısa tutun; yavaş sunucular tarama bütçesini boşa harcatır.

Crawler'ı sıradan bir ziyaretçi gibi düşünmek çoğu sorunu çözer: sayfalarınızı bulması kolay, okuması kolay ve sunucunuzu yormayacak biçimde sunun.

Sık sorulan diğer sorular

Web crawler ile bot aynı şey mi?

Arama motoru bağlamında büyük ölçüde evet. Crawler, spider, spiderbot ve bot ifadeleri aynı otomatik tarama yazılımını anlatır; fark, programın hangi amaçla çalıştırıldığında ortaya çıkar.

Crawler siteyi yavaşlatırsa ne yapılır?

Sunucu günlüklerinden istek hızına bakın, gerekiyorsa hız sınırı koyun ve sorun çıkaran botları engelleyin. robots.txt yalnızca kurallara uyan botları durdurur, bu yüzden tek başına yeterli değildir.

robots.txt crawler'ı tamamen engeller mi?

Hayır. Kurallara uyan botlar dosyayı dikkate alır, kötü niyetli olanlar almaz. Gerçek engelleme sunucu tarafında, istek hızı sınırı ve erişim kontrolüyle yapılır.

Neden aynı sayfa birden fazla URL ile taranıyor?

Dinamik parametreler, oturum kimlikleri ve filtre adresleri aynı içeriği farklı URL'ler altında sunabilir. Bu durum spider trap'e ve gereksiz indirmelere yol açar.

Crawler bir sayfaya ne sıklıkla geri döner?

Sabit bir süre yoktur. Tarama bütçesine ve seçilen politikaya bağlıdır; sık değişen sayfalar daha sık, sabit kalan içerik daha seyrek taranır.

İlgili sayfalar

  • İlk Arama Motorları Tarihi: Archie'den Web'e

    İnternet üzerindeki verileri bulma ihtiyacı, 1990 yılında Alan Emtage tarafından geliştirilen Archie ile ilk yazılımsal çözümüne ulaştı. Dosya Aktarım Protokolü sunucularındaki arşivleri listeleyen bu ilk girişimi, 1994 yılında tam metin tarama yapan WebCrawler ve ardından Lycos, AltaVista ile Google izledi.

  • Meta Arama Motoru Nedir: Mimarisi ve İşleyişi

    Meta arama motoru, kullanıcı sorgusunu bağımsız web dizinlerine ileterek gelen sonuçları tek bir ekranda derleyen toplayıcı bir sistemdir. Kendi arama dizinini veya ağ örümceğini barındırmak yerine üçüncü taraf arama platformlarının verilerini harmanlar, mükerrer kayıtları ayıklar ve kendine ait kurallarla sıralar. Bu altyapı tek sorguyla daha geniş bir ağ taraması yapılmasına ve istemcinin IP adresinin hedef motorlardan gizlenmesine olanak tanır.

  • Gizlilik Odaklı Arama Motorları Nasıl Çalışır?

    Gizlilik odaklı arama motorları, arama terimlerini IP adresi, çerezler veya tarayıcı parmak izi gibi kişisel tanımlayıcılarla ilişkilendirmeden işler. Kullanıcı ile web dizinleri arasında yalıtılmış bir köprü kurarak arama geçmişinin kaydedilmesini ve reklam profilleri oluşturulmasını engeller. Bu platformlar veri toplamak yerine sorguları anonimleştirir veya tamamen bağımsız indeksler üzerinden sunar.

  • Semantik Arama Nasıl Çalışır: Vektörel Arama Mimarisi

    Semantik arama, kullanıcı sorgusundaki sözcükleri birebir eşleştirmek yerine sorgunun arkasındaki anlamı, bağlamı ve niyeti çözümler. Metin, görsel veya ses verilerini çok boyutlu sayısal vektörlere dönüştürerek çalışan bu sistem, vektör uzayındaki matematiksel yakınlık hesaplamaları üzerinden en alakalı sonuçları listeler.

  • organik arama vs ücretli arama: Temel Farklar

    Organik arama, web sayfalarının arama algoritmaları tarafından alaka düzeyine göre ücretsiz listelenmesini ifade ederken ücretli arama, tıklama başına maliyetle en üst konumlarda yer almayı sağlayan reklam modelidir. Organik stratejiler uzun vadeli trafik ve marka güvenilirliği oluşturur. Ücretli kampanyalar ise anlık görünürlük sağlayarak hedeflenen kitleye hızla ulaşır.

  • Google Arama Operatörleri: Arama ve Denetim Rehberi

    Google arama operatörleri, standart anahtar kelime sorgularını daraltmak ve belirli parametrelere göre filtrelemek için kullanılan özel komut ve sembollerdir. Bu komutlar alan adı, sayfa başlığı, URL yapısı ve dosya uzantısı gibi alanlarda doğrudan dizin taraması yapmayı sağlar. Birlikte kullanıldıklarında hem içerik araştırmalarında hem de teknik site denetimlerinde kesin sonuçlar verir.

Bu sayfa nasıl hazırlandı

Yazmadan önce konu aşağıdaki kaynaklarda araştırıldı. Sayfa ardından otomatik kalite denetimlerinden geçti.

Bu sayfadaki bir hatayı bildir