Wesloo
すべてのトピックトピック

検索エンジン

robots.txt 仕組みと書き方の基本仕様

要点

robots.txtは、検索エンジンの巡回プログラムに対してサイト内の特定領域へのアクセス許可や制限を指示する平文テキストファイルです。Webサーバーのルート直下に配置され、クローラーのトラフィック制御や無駄な負荷の軽減に利用されます。強制的なアクセス制御ではなく自主的な準拠に基づく規約であり、非公開情報の隠蔽ではなく収集方針の提示を担います。

ポイント

  • Webサーバーのルートディレクトリに配置し、巡回ボットの収集範囲を指定する
  • 1994年に考案され、2022年9月にRFC 9309として標準規格化された
  • 悪意あるボットの排除や機密情報の秘匿用途には機能しない
  • クローラーの無駄な巡回を減らし、サーバーのトラフィック負荷を抑える

robots.txt 仕組みの基礎は、自動巡回プログラム(ボット)がWebサイトを訪問した際に、どのURLへのアクセスを許可または制限するかを定義する点にあります。検索エンジンなどのボットは、サーバーへ過度な通信負荷をかけずにページ情報を効率よく収集するために、サイト管理者が提示した指示行を参照します。サイトの最上位階層(ルートディレクトリ)にこのテキストファイルを設置しておくと、適正なクローラーは各ページを巡回する前に内容を読み込み、指定された規則に従って収集を進めます。

robots.txt 仕組みとクローラーの動作原理

検索サービスがWebページを検出してインデックスへ登録する処理では、クローラーの仕組みが土台となります。ボットが対象ドメインへ到達した際、最初に行う処理がルート配下にあるrobots.txtの取得要求です。

ファイルが存在する場合、ボットは記述された構文を解析し、自身に該当する指示ブロック(User-agent節)を抽出します。許可されたパスのみを巡回対象のキューに加え、拒否指定されたパスは巡回対象から除外します。ファイルが存在しない場合(HTTPステータスコード404など)は、サイト全体に対する巡回の制限がないと判断され、ボットは通常の基準に沿ってすべての公開URLを辿ります。

この仕組みは1994年にRobots Exclusion Protocolとして発案され、長年にわたり業界の慣例として運用されてきました。2019年にインターネット技術標準化組織(IETF)へ仕様統一の提案が出され、2022年9月にRFC 9309として提案標準が公開されました。

主な記述ディレクティブと構文規則

robots.txtは単純な平文テキストで構成され、コロン記号で区切られた指示行(ディレクティブ)を組み合わせて記述します。大文字と小文字が厳密に区別されるため、パスの指定やディレクティブ名の入力には正確さが求められます。

ディレクティブ役割記述例
User-agent指示の適用対象となるボットの名称を指定User-agent: Googlebot
Disallowアクセスを禁止するパスの先頭部分を指定Disallow: /admin/
AllowDisallowで除外された配下で例外的に許可するパスを指定Allow: /admin/public/
Sitemapサイト全体のURL一覧を記したXMLサイトマップの所在を明示Sitemap: https://example.com/sitemap.xml

記述する際は、まず対象とするクローラーをUser-agent行で明記し、その直下に適用したいDisallowやAllowの行を並べます。複数のルールが存在する場合、より詳細なパス指定が優先して適用されます。

用途別の記述パターンと具体例

Webサイトの公開方針や開発環境の状況に応じて、異なる記述パターンが用いられます。ワイルドカード記号(*)を使うことで、すべてのボットを一括して対象に含めることができます。

  • すべての巡回を許可する場合:User-agent: *Disallow:Disallowの値を空にすることで、すべてのURLへのアクセス制限が存在しない状態を示します。
  • サイト全体の巡回を一括禁止する場合:User-agent: *Disallow: /開発段階のテスト環境や非公開前のステージング環境で外部の巡回を遮断する際に利用されます。
  • 特定ディレクトリのみ巡回を拒否する場合:User-agent: *Disallow: /checkout/Disallow: /temp/カートページや一時作業用フォルダなど、検索結果に掲載する必要のない重複コンテンツを収集対象から外します。
  • 特定の検索エンジンボットのみ制限する場合:User-agent: BadBotDisallow: /User-agent: *Disallow: /private/特定のボット名(User-agent)を明記したブロックを先に記述することで、個別の振る舞いを指定できます。

クローラーが不要なファイルを読み込む処理を減らすと、検索エンジンが重要度の高いコンテンツへ優先的に計算資源を配分しやすくなります。収集された情報はデータベースへ送られ、転置インデックスによる高速検索の構造を通じて利用者の検索要求に応答するデータとして整理されます。

ファイルの配置場所と命名における厳格な要件

robots.txtを有効に機能させるには、サーバー上の配置場所とファイル名を厳格に守らなければなりません。

ファイル名はすべて半角小文字で「robots.txt」とする必要があります。「ROBOTS.TXT」や「robot.txt」といった名称では、クローラーに認識されません。

配置場所は、ドメイン直下の最上位階層(ルートディレクトリ)に限定されます。たとえば「https://example.com/robots.txt」というURLで直接アクセスできる状態が必要です。「https://example.com/subfolder/robots.txt」のような下位階層に置かれたファイルは無視され、サイト全体はおろか配下のディレクトリに対しても効力を持ちません。

サブドメインごとに独立したホストとして扱われる点にも留意が必要です。「blog.example.com」と「shop.example.com」を運用している場合、それぞれのサブドメイン直下に固有のファイルを配備しなければ、設定が適用されません。また、プロトコル(HTTPとHTTPS)やポート番号が異なる場合も別の枠組みとして判定されます。

robots.txtの限界と非公開情報の保護

robots.txtはアクセス権を管理する保安機能ではありません。このプロトコルはクローラー側の自主的な規約遵守を前提として設計されているため、技術的な制限事項が存在します。

悪意を持った第三者の収集ボットやスパム送信プログラムは、robots.txtの指示を故意に無視してアクセスします。ファイル内に「Disallow: /secret-admin/」と記述すると、外部の攻撃者に対して非公開ディレクトリの所在を教えてしまう結果になり得ます。管理者専用画面や個人情報を含む領域は、Webサーバーの認証機構やIPアドレス制限を用いて直接防護する必要があります。

robots.txtでクロールを拒否しても、検索結果のインデックスから完全に消滅するとは限りません。外部の他サイトから該当URLへの被リンクが存在し、ページランクの仕組みと評価アルゴリズムなどで参照価値があるとみなされた場合、検索エンジンはページ本文を収集しないままURLとアンカーテキスト情報だけでインデックスを生成することがあります。検索結果への表示を確実に防ぐには、robots.txtによるブロックではなく、HTMLヘッダー内のnoindex指示やHTTPヘッダーによるX-Robots-Tagの送出が不可欠です。

よくある質問

robots.txtがないとWebサイトはどうなりますか?

ファイルが存在しない場合、クローラーはアクセス制限がないと判断し、公開されているすべてのページを通常どおり巡回します。

robots.txtでページを拒否すれば検索結果に表示されなくなりますか?

必ずしも非表示にはなりません。外部からリンクが張られている場合、ページ本文を巡回されないままURLとリンクテキストのみで検索結果に登録されることがあります。

悪意のあるクローラーもrobots.txtの指示を守りますか?

守りません。Robots Exclusion Protocolは自主的な順守を前提としているため、スクレイピングを行う不正なボットは指示を無視して侵入します。

関連ページ

  • 初期 検索エンジン 歴史と技術進化の軌跡

    初期の検索エンジンは、FTPサーバー内のファイル名を索引化するツールから始まり、ウェブページの全文を自動巡回・登録するクローラー型へと発展しました。1990年代半ばにはAltaVistaやWebCrawlerによる高速な全文検索が普及し、被リンク構造やユーザー行動を解析するアルゴリズムの登場によって情報アクセスの精度が飛躍的に向上しました。

  • メタ検索エンジン とは?仕組みと特徴・通常検索との違い

    メタ検索エンジンは、入力された1つの検索クエリを複数の独立した検索エンジンへ同時に送信し、返された検索結果を集約・再構成して提示するシステムです。自前でウェブクローラーを巡回させて大規模な索引を構築するのではなく、外部のインデックスやAPIの応答を活用します。重複URLの排除や独自基準によるスコアリングを行い、1つの画面で多様な情報源の回答を横断確認できる点が特徴です。

  • プライベート検索エンジン 仕組みと個人情報保護の技術基盤

    プライベート検索エンジンは、ユーザーのIPアドレスやクエリ履歴、行動ログを収集・保持せずに検索結果を提供するシステムです。通信ヘッダーのサニタイズによる代理中継や、トラッカーを排除した独立インデックスのクロール技術により、個人の属性プロファイル作成を根本から遮断します。

  • セマンティック検索 仕組みとベクトル検索の基礎

    セマンティック検索は、入力文や文書を多次元の数値ベクトルに変換し、単語の字面ではなく文脈や意味の類似性に基づいて情報を取り出す技術です。高速な近似最近傍探索を行うベクトルデータベースと組み合わせることで、画像や音声を含む多様なデータ形式の大規模な検索基盤を構築できます。

  • 自然検索 有料検索 違い:費用構造と獲得経路の比較

    自然検索と有料検索の根本的な相違は、掲載枠の獲得手法と課金構造にあります。自然検索はコンテンツの適合性や被リンク評価によって無償枠に表示される一方、有料検索はオークション制のクリック課金(PPC)で即座に広告枠を確保します。

  • google 検索コマンド 使い方と主要演算子の一覧

    Google検索コマンドは、検索語句に特定の記号や英字構文を付加して対象範囲を精密に指定する絞り込み機能です。完全一致、特定ドメインの抽出、不要な単語の除外などを組み合わせることで、ノイズとなるページを排除して求める情報へ最短で到達できます。記述時は半角英数字の使用とスペースの挿入位置に厳格なルールが存在します。

このページの作成方法

執筆の前に、下記の情報源でテーマを調査しました。その後、自動の品質チェックを通過しています。

このページの誤りを報告する