Wesloo
すべてのトピックトピック

検索エンジン

クローラー 仕組み:検索エンジンがページを見つける流れ

要点

クローラーはURLを取得してHTMLを解析し、見つけたリンクをたどって同じ処理を繰り返す自動プログラムです。集めた内容は検索エンジンのデータベースに保存され、検索語に対する候補と順位を決める材料になります。robots.txtによる指示と、単位時間あたりの取得量の上限が、実際にどこまで巡回されるかを左右します。

ポイント

  • クローラーはURLの取得、HTMLの解析、リンクの抽出、一覧への追加を繰り返す自動プログラム。
  • 取得と登録と順位付けは別の工程で、読まれても検索結果に出ないページはある。
  • robots.txtで取得の許可と禁止を伝えられるが、従うかどうかはクローラーの種類による。
  • 単位時間に巡回できる量には上限があり、枠の配り方が情報の新しさを左右する。
  • 過剰なアクセスはサーバーの負荷になり、悪質なクローラーは非公開の情報も抜き取る。

検索エンジンが新しいページを見つけるとき、最初に動くのは人間ではなくプログラムです。クローラー 仕組みの出発点は、まだ読んでいないURLの一覧を用意することにあります。そこから先は、取得、解析、リンクの抽出、一覧への追加という4つの作業を延々と回し続けます。

クローラー 仕組みの全体像:取得から保存までの流れ

巡回は思いつきで進むわけではありません。取得済みのURLを記録し、未取得のものを順に処理する作りになっています。通信が途中で切れても、次は記録の続きから再開できます。

  1. 未取得のURLの一覧を用意する。最初の種になるURLをシードと呼ぶ。
  2. 対象のサーバーへリクエストを送る。
  3. サーバーがHTMLを返し、プログラムがそれを受け取る。
  4. HTMLを解析し、title、metaタグ、見出し、本文、リンクのアンカーテキストを抜き出す。
  5. 抜き出したリンクを新しいURLとして一覧に加える。
  6. 優先度とアクセス間隔を調整しながら、一覧が空になるまで繰り返す。

サイト全体を一度にまとめて回るのではなく、重要度の高いURLや更新の新しいURLから処理します。内部リンクの配置は、どのページが先に読まれるかを左右します。

ページのどこを読んで内容を判断するのか

文字を上から眺めるだけでは、そのページが何の答えになるかを判断できません。そこで構造を取り出します。

  • titleタグ: ページの主題を短く示す。
  • meta description: 検索結果の説明文として使われることが多い。
  • 見出し(h2、h3など): 内容の区切りと階層を表す。
  • 本文: 語句の出現と文脈。
  • アンカーテキスト: リンク先がどんなページかを示す。

これらを組み合わせ、ある検索語に対してそのページが答えになるかを推定します。画像の見た目や装飾そのものは、HTMLの構造だけでは判断できません。

クロール、インデックス、ランキングは別の工程

取得しただけで検索結果に出るわけではありません。工程は3つに分かれ、それぞれ目的が違います。

工程やること
クロールURLを取得し、内容を解析する
インデックス解析結果をデータベースに保存する
ランキング検索語ごとに提示する順番を決める

クロールを止めても、すでに登録されたページは検索結果に残ることがあります。反対に、取得できても登録されないページもあります。この2つは別々に起きる現象です。

robots.txtでできること、できないこと

robots.txtには、巡回を許可する場所と避けたい場所をサイト運営者が記します。クローラーはその内容を参照し、次にたどるリンクを決めます。

負荷への配慮も欠かせません。単一のクローラーが短時間に何度もリクエストを送る、あるいは大きめのファイルをまとめて取得すると、サーバーの処理が追いつかなくなる場合があります。取得間隔の設定は、サイトを守るための調整弁です。

なかには、動的に作られるURLを避けようと、疑問符が入ったURLを要求しないクローラーがあります。スパイダートラップでURLが際限なく増えるのを防ぐためですが、URLの書き換えで見た目を整えたサイトでは効果が期待できません。

更新頻度と巡回の優先順位

単位時間に巡回できる量には上限があります。限られた枠をどのページに配るかで、検索結果に反映される情報の新しさが変わります。

変化の速いページに多くの枠を割り振る方針は、直感的には有利に見えます。しかし平均的な新しさで比べると、枠を均等に配る方針のほうが上回るという分析結果があります。理由は2つです。変化の速いページに枠を寄せると更新の遅いページが後回しになり、また変化の速いページの新しさは短い時間で失われます。配分したぶんの見返りが小さくなるわけです。

サイト側が受ける影響

クローラーは人間が手作業でたどるより速く、広い範囲を取得できます。そのぶん、設定を誤るとサーバーの負荷が跳ね上がります。

一方で、たどり方に工夫のあるクローラーもいます。取得したURLの上位ディレクトリを順に試す方式では、深い階層のページを読んだあとに、その1つ上の階層、さらに最上位へとさかのぼって取得します。ほかのページからリンクされていない孤立したページを見つけるのに効きます。

目的の違うクローラーたち

種類主な目的
検索エンジン用ページを集めて検索結果に載せる
研究用調査や分析のためにデータを集める
マーケティング用自社と競合の情報を集める
悪質なもの非公開の情報を抜き取る、負荷をかける

どのクローラーが来たかはサーバーログに残ります。GoogleのクローラーはGooglebot/2.1のような名前を記録に残します。ログを検索して絞り込む作業は ターミナル操作を速くするショートカット一覧 を参考にすると進めやすくなります。ログと実際の表示を並べて見比べるなら 画面分割と仮想デスクトップのショートカット一覧 が役立ちます。表示崩れの証拠を残すときは OS別のスクリーンショットショートカット一覧 を確認してください。

クロールされやすくするためにサイト側ができること

基本は、内容がHTMLに書かれていること、リンクでつながっていること、応答が速いことの3つです。

  • 主要な本文をJavaScriptの実行後にしか表示しない作りは避ける。実行できない環境では中身が空に見える。
  • たどってほしいページへは、トップページから数クリック以内の内部リンクを用意する。
  • robots.txtで主要なディレクトリを丸ごと拒否しない。
  • 応答の遅いページを減らし、大量のリクエストでサーバーを詰まらせない。

どれも特別な技術ではありません。読み取れない原因を1つずつ消していく作業です。

よくある質問

クローラーが来ない原因は何ですか?

robots.txtで拒否している、内部リンクが少なくたどり着けない、応答が遅い、といった理由が代表的です。サーバーログに記録が残っているかを確認すると切り分けやすくなります。

クロールとインデックスの違いは何ですか?

クロールはページを取得して中身を読む作業、インデックスはその結果を保存して検索の対象に置く作業です。読まれても登録されないページはあります。

robots.txtに書けば悪質なクローラーを止められますか?

止められません。指示に従うのは主に正規の検索エンジン用クローラーで、他のプログラムは無視します。アクセス頻度の制限などサーバー側の対策と組み合わせる必要があります。

更新の速いページは優先的に巡回されますか?

枠を変化の速いページに寄せる方針は、平均的な新しさでは不利になるという分析結果があります。更新の遅いページが後回しになり、速いページの新しさも短時間で失われるためです。

クローラーに読まれやすいサイトの条件は?

主要な内容がHTMLに書かれ、内部リンクでつながれ、応答が速いことです。robots.txtで必要な場所まで拒否していないかも確認します。

関連ページ

  • 初期 検索エンジン 歴史と技術進化の軌跡

    初期の検索エンジンは、FTPサーバー内のファイル名を索引化するツールから始まり、ウェブページの全文を自動巡回・登録するクローラー型へと発展しました。1990年代半ばにはAltaVistaやWebCrawlerによる高速な全文検索が普及し、被リンク構造やユーザー行動を解析するアルゴリズムの登場によって情報アクセスの精度が飛躍的に向上しました。

  • メタ検索エンジン とは?仕組みと特徴・通常検索との違い

    メタ検索エンジンは、入力された1つの検索クエリを複数の独立した検索エンジンへ同時に送信し、返された検索結果を集約・再構成して提示するシステムです。自前でウェブクローラーを巡回させて大規模な索引を構築するのではなく、外部のインデックスやAPIの応答を活用します。重複URLの排除や独自基準によるスコアリングを行い、1つの画面で多様な情報源の回答を横断確認できる点が特徴です。

  • プライベート検索エンジン 仕組みと個人情報保護の技術基盤

    プライベート検索エンジンは、ユーザーのIPアドレスやクエリ履歴、行動ログを収集・保持せずに検索結果を提供するシステムです。通信ヘッダーのサニタイズによる代理中継や、トラッカーを排除した独立インデックスのクロール技術により、個人の属性プロファイル作成を根本から遮断します。

  • セマンティック検索 仕組みとベクトル検索の基礎

    セマンティック検索は、入力文や文書を多次元の数値ベクトルに変換し、単語の字面ではなく文脈や意味の類似性に基づいて情報を取り出す技術です。高速な近似最近傍探索を行うベクトルデータベースと組み合わせることで、画像や音声を含む多様なデータ形式の大規模な検索基盤を構築できます。

  • robots.txt 仕組みと書き方の基本仕様

    robots.txtは、検索エンジンの巡回プログラムに対してサイト内の特定領域へのアクセス許可や制限を指示する平文テキストファイルです。Webサーバーのルート直下に配置され、クローラーのトラフィック制御や無駄な負荷の軽減に利用されます。強制的なアクセス制御ではなく自主的な準拠に基づく規約であり、非公開情報の隠蔽ではなく収集方針の提示を担います。

  • 自然検索 有料検索 違い:費用構造と獲得経路の比較

    自然検索と有料検索の根本的な相違は、掲載枠の獲得手法と課金構造にあります。自然検索はコンテンツの適合性や被リンク評価によって無償枠に表示される一方、有料検索はオークション制のクリック課金(PPC)で即座に広告枠を確保します。

このページの作成方法

執筆の前に、下記の情報源でテーマを調査しました。その後、自動の品質チェックを通過しています。

このページの誤りを報告する