コンテンツ・サイト実装更新日：2026.08.14
robots.txt設定ガイド
robots.txtとは、クローラー（検索エンジンやAIの巡回プログラム）に「サイト内のどこを見に来てよいか」を伝えるためのファイルです。ただし、検索結果から確実にページを消す仕組みや、機密情報を守る認証の代わりにはならない点に注意が必要です。
robots.txtの設定では、まずクローラーごとの目的を知り、自社としてどう対応するかの方針を決めることが出発点です。そのうえで、各社の公式ドキュメントでUser-agent（クローラーの名前）を確認して設定しましょう。重要ページをうっかりブロックしてしまう誤り、noindexとの混同、テスト環境の設定が本番に残ってしまう事故には特に注意が必要です。
AI検索対策やSEOというと、何か特別な設定をすれば終わりと思われがちですが、実際はそうではありません。「どの顧客の、どの質問に答える情報なのか」「根拠を確認できるか」「公開したあとも更新・検証を続けられるか」といった地道な積み重ねのほうがずっと大切です。以下では、実務で判断するための要点を順番にやさしく解説していきます。
なお、AIサービスや検索エンジンの仕様は日々変化しています。この記事では長く使える実務の原則を中心にまとめていますが、クローラー名や対応機能、表示仕様、規約などの細かい部分は、実装・公開の直前に各社の公式資料であらためて確認するようにしましょう。
押さえておきたいポイント
できることを知っておきましょう
robots.txtでは、規格に対応するクローラーに対して「このフォルダは見てよい」「ここは見ないでほしい」といったクロールの許可・拒否を伝えられます。XMLサイトマップ（ページ一覧のファイル）の場所を知らせることもできます。
できないことも知っておきましょう
一方で、検索結果からのURL削除、アクセスの制限、著作権の保護はrobots.txtでは実現できず、すべてのボットに指示を強制することもできません。機密情報は、robots.txtではなく認証やアクセス制御の仕組みで守るようにしましょう。
noindexとの違いを理解しましょう
noindexは「クロールしたページを検索結果に登録しないでほしい」と伝える指示です。ここで注意したいのは、robots.txtでクロール自体を止めてしまうと、クローラーがページ内のnoindexを読めなくなる場合があるという点です。目的に合わせて正しく使い分けましょう。
AIクローラーは役割ごとに確認しましょう
AIクローラーは、検索用・学習用・ユーザーの求めに応じた取得用など、同じ会社でも役割ごとに分かれている場合があります。会社名だけで「すべて拒否」「すべて許可」と一括で判断せず、それぞれの公式説明を確認したうえで決めましょう。
設定後の運用も大切です
robots.txtは設定して終わりではありません。CMSやステージング環境（テスト用の環境）のブロック設定が本番サイトに残ってしまう事故を防ぎ、変更履歴・担当者・確認日を記録して管理していきましょう。また、robots.txtで除外したURLをXMLサイトマップに載せるといった矛盾した指示は、クローラーを迷わせます。サイトの各仕組みが同じ方針を一貫して伝えている状態を保つことが大切です。
意図しないブロックがないか点検しましょう
昔のテンプレートから引き継いだ設定や、CDN（コンテンツ配信サーバー）・ボット対策サービスの初期設定が、気づかないうちにAIクローラーを拒否していることがあります。クロールできないページは、どれだけ内容が良くてもAIの回答に引用されません。自社のrobots.txtで主要なAIクローラー名にDisallow（拒否）が付いていないか、CDN側のボット対策がクローラーに確認画面やエラーを返していないかを、定期的に確かめましょう。こうした「ソフトブロック」は人間の閲覧では見えないため、意識して点検しないと気づけません。
よくある質問
robots.txtに書けば必ず従いますか？
いいえ、必ず従うとは限りません。robots.txtはあくまで規格に従う行儀のよいクローラーへの「お願い」であり、悪意あるボットを防ぐセキュリティ機能ではないことを覚えておきましょう。
AIクローラーはすべて許可すべきですか？
一律の正解はありません。クローラーの目的、コンテンツの権利、サーバーへの負荷、検索やAIでの露出、社内の方針を踏まえて、自社なりに判断しましょう。検索用と学習用でクローラーが分かれている場合があることも確認しておくと安心です。ただし、AIがその場でウェブを検索して回答するとき、参照するのはクロールで集められた情報です。検索用のAIクローラーを拒否すると、そのページがAIの回答で引用・紹介される機会も失われる点は理解したうえで決めましょう。
サイト内検索の結果ページはブロックすべきですか？
原則として、robots.txtでのブロックかnoindexでの制御をおすすめします。サイト内検索の結果ページは、検索語の数だけURLが無限に作れてしまうため、クローラーが際限なく巡回してサーバーの負荷になりがちです。さらに、入力した語をそのままページに表示する仕組みは、無関係な宣伝文言や連絡先を含むページを第三者に作らせる悪用の入り口にもなり得ます。ルールは細かく分けず、対象のURLパターン全体を覆うシンプルな1本にしておくと保守が楽になります。
クロールを止めたいとき、やってはいけない対処はありますか？
あります。まず、検索結果からの削除申請は表示を隠すだけで、クロール自体は止まりません。また、サーバーエラー（500番台）を返し続けると「クロールのしすぎでサーバーに問題が起きた」と解釈され、サイト全体のクロールまで減らされてしまうことがあります。一時的に巡回を控えてほしい場合は、「後で来てほしい」を意味する503という応答を返すのが適切です。目的に合った手段を選びましょう。
robots.txtは、自社のクロール方針を形にするための道具です。目的を決めないまま他社の設定をコピーするのではなく、公式のUser-agent、noindexとの違い、重要ページへの影響を一つずつ確認しながら設定していきましょう。設定後も、昔の設定やCDNの初期値による「意図しないブロック」が残っていないかを定期的に見直すことが、検索とAIの両方に向けた土台づくりになります。仕組みさえ理解すれば、決して難しいものではありません。
AI検索や検索順位は外部要因にも左右されるため、「必ずこうなる」という結果までは保証できません。それでも、正確な情報、独自の根拠、技術的な土台、第三者からの評価、そして計測の仕組みを整えることは、AIにも検索にも、そして何よりお客様にとっても意味のある投資になります。焦らず一歩ずつ取り組んでいきましょう。
この記事の内容を、自社のケースで確認したい方へ
AIが御社をどう紹介しているかの無料診断や、優先順位のご相談を承っています。調査だけ、部分改善だけのご相談でも構いません。