
「クローラーって何?」「新しく作ったページが、なかなか検索に出てこない」「ChatGPTなどのAIのクローラーは、止めたほうがいいの?」——ホームページを運営していると、こうした疑問が出てきます。
クローラーは、Webサイトを巡回してページの内容を集めるプログラムです。検索エンジンもAI検索も、クローラーが読めたページの情報をもとに答えを作ります。つまり、クローラーに正しく読んでもらえないページは、検索結果に出ず、AIの回答でも紹介されにくくなります。
この記事でわかること:
- クローラーがページを見つけて読む仕組み
- Google・ChatGPT・Claude・Perplexity のクローラーの種類と違い
- WordPressのサイトで確認したい5つの設定(Cruwの自社サイトの実例つき)
クローラーとは? 検索に出るまでの3つの段階
クローラーとは、インターネット上のWebサイトを自動で巡回して、ページの内容(文章・画像・リンクなど)を集めるプログラムです。「ボット」「スパイダー」とも呼ばれます。Googleのクローラーは「Googlebot(グーグルボット)」という名前です。
Google検索にページが出るまでには、3つの段階があります。
- クロール:Googlebotがリンクやサイトマップからページを見つけて、内容を読み込む
- インデックス登録:読み込んだ内容を整理して、Googleのデータベースに登録する
- 検索結果への表示:検索された言葉に合うページを、データベースから選んで表示する
クロールは、この最初の入り口です。クロールされなければ、どんなに良い内容のページでも、その内容が検索結果に載ることはありません。ただし、クロールされれば必ず登録・表示されるわけでもありません。
主なクローラーの一覧(2026年)
最近は、検索エンジンだけでなく、AIの会社のクローラーもサイトを訪れるようになりました。主なものは次のとおりです。
| 会社 | クローラー(robots.txtでの名前) | 役割 |
|---|---|---|
| Googlebot | Google検索のためのクロール。AI Overviews・AI Mode もこの検索の仕組みを使う | |
| Google-Extended | クローラーではなく、robots.txtで使う名前。Geminiの学習などに使ってよいかを指定する | |
| OpenAI | OAI-SearchBot | ChatGPTの検索機能で、サイトを紹介するため |
| OpenAI | GPTBot | AIモデルの学習に使うため |
| OpenAI | ChatGPT-User | ChatGPTの利用者の質問に答えるために、その場でページを読む |
| Anthropic | Claude-SearchBot | Claudeの検索の品質を上げるため |
| Anthropic | ClaudeBot | AIモデルの学習に使うため |
| Anthropic | Claude-User | Claudeの利用者の質問に答えるために、その場でページを読む |
| Perplexity | PerplexityBot | Perplexityの検索結果でサイトを紹介するため(学習には使わない) |
| Perplexity | Perplexity-User | Perplexityの利用者の質問に答えるために、その場でページを読む |
AIの会社のクローラーは、「検索用」「学習用」「利用者の質問に答えるとき用」に分かれていることが多いです。この違いは、あとの「AIのクローラーは止めるべき?」で使います。
クローラーがサイトを巡回する仕組み
リンクをたどって、新しいページを見つける
クローラーは、すでに知っているページに書かれたリンクをたどって、新しいページを見つけます。ほかのサイトからのリンクも、自分のサイトの中のリンク(内部リンク)も、入り口になります。
Googleがたどれるのは、基本的に href の付いた <a> タグのリンクです。JavaScriptのクリックだけで移動するボタンは、たどれないことがあります。
<!-- たどれる -->
<a href="/production/">ホームページ制作</a>
<!-- たどれないことがある -->
<span onclick="location.href='/production/'">ホームページ制作</span>
<a onclick="goTo('/production/')">ホームページ制作</a>リンクの文字(アンカーテキスト)も、リンク先が何のページかを伝える材料になります。「こちら」「詳しくはこちら」より、「ホームページ制作の費用について」のように、内容がわかる文字にするのがおすすめです。
サイトマップで「ページの一覧」を渡す
サイトマップ(XMLサイトマップ)は、サイトにあるページのURLを並べたファイルです。リンクをたどるだけでは見つけにくいページも、サイトマップがあれば伝えられます。WordPressでは、本体やSEOプラグインが自動で作ってくれます。
Googleの説明では、サイトマップの書き方について次のようになっています。
<lastmod>(最終更新日)は、正確に書かれていれば使われる<priority>(優先度)と<changefreq>(更新の頻度)は使われない- 1つのサイトマップは、5万URLまたは50MB(圧縮前)まで。超えるときは分ける
つまり、「優先度を上げれば早く来てくれる」ということはありません。大事なのは、正しいURLだけを載せて、更新日を正確にしておくことです。
JavaScriptで表示する内容は、あとから読まれる
JavaScriptで画面に文字を出しているページは、Googleが「クロール → レンダリング(JavaScriptを動かして画面を作る)→ インデックス登録」の順に処理します。レンダリングは順番待ちになり、数秒で終わることもあれば、それより長くかかることもあります。
また、Googleの説明にもあるとおり、すべてのクローラーがJavaScriptを動かせるわけではありません。AIのクローラーにも読んでもらいたい会社の紹介やサービスの説明は、HTMLに直接書いておくほうが確実です。WordPressで普通に書いたページなら、HTMLに文章が入っているので心配はいりません。
読み込まれるのは、ファイルの先頭2MBまで
Googlebotは、HTMLなどのファイルの先頭2MBまでを読み込みます(PDFは64MBまで。圧縮する前の大きさで数えます)。2MBを超えた部分は、読まれません。
ふつうのWebページなら、まず問題になりません。たとえば、Cruwのサイトのトップページは約77KB、文章や表の多いブログ記事でも約88KB(どちらも圧縮前)で、2MBの20分の1にもなりません。ただ、画像をHTMLの中に直接埋め込んでいる(data: で始まる画像)ページや、とても長い一覧ページでは、確かめておくと安心です。
AIのクローラーは止めるべき? 「学習用」と「検索用」の違い
止めると、AI検索に出なくなるクローラーがある
AIのクローラーを止めるかどうかは、どのクローラーを止めるかで結果が変わります。各社の説明をまとめると、次のとおりです。
| 止めるもの | 起きること |
|---|---|
| GPTBot・ClaudeBot(学習用) | 今後の内容を、AIモデルの学習に使わないでほしいと伝えられる。OpenAIは、それぞれの設定は別々で、OAI-SearchBotを許可したままGPTBotだけを止められると説明している |
| Google-Extended | Geminiの学習などに使われなくなる。Googleは、Google検索への掲載や順位には影響しないと説明している。AI Overviews・AI Mode に出るかどうかは、Google-Extended ではなく、Googlebot や noindex などの通常の検索の設定で決まる |
| OAI-SearchBot・Claude-SearchBot・PerplexityBot(検索用) | それぞれのAIの検索の回答で、サイトが紹介されなくなる、または紹介されにくくなる。OpenAIは、OAI-SearchBotを止めたサイトはChatGPTの検索の回答に出ないが、サイトへのリンクとしては出ることがあると説明している |
| Googlebot | Google検索にも、AI Overviews・AI Mode にも出なくなる |
「AIに勝手に使われたくない」という理由で、AIのクローラーをまとめて止めてしまうと、AI検索で自社が紹介される機会まで失うことがあります。学習には使われたくないけれど、AI検索には出たい場合は、学習用だけを止めます。
# 学習用のクローラーだけを止める例(robots.txt)
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /なお、「利用者の質問に答えるとき用」のクローラーは、扱いが会社によって違います。OpenAI(ChatGPT-User)とPerplexity(Perplexity-User)は、人が頼んだ読み込みのため、robots.txtの指定が当てはまらない場合があると説明しています。Anthropicは、自社のクローラーはrobots.txtの指定に従うと説明しています。
Cruwが自社サイトでAIのクローラーを止めていない理由
Cruwのサイトの robots.txt は、次のように、WordPressの管理画面だけを止めた、シンプルなものです。AIのクローラーは止めていません。
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://cruw.co.jp/sitemap.xml
Sitemap: https://cruw.co.jp/sitemap.rssCruwは、AIに「長野県上田市のWeb制作会社」として正しく紹介してもらうことを目指して、自社サイトでAIO対策をしています。AIに読まれないと紹介もされないので、検索用も学習用も止めない、という判断をしています。
どちらがよいかは、会社によって違います。たとえば、有料で販売している資料や、独自に作った文章を学習に使われたくない場合は、学習用だけを止める、という選び方もあります。
正しく巡回してもらうための5つの確認(WordPressの場合)
1. robots.txt やWordPressの設定で、大事なページを止めていない
robots.txt は、サイトのいちばん上の階層(https://〜/robots.txt)に置く、クローラーへのお願いを書いたファイルです。ブラウザで開くと、中身を確認できます。User-agent: * の下に Disallow: / と書かれていたら、すべてのクローラーに対して、サイト全体のクロールを止めているので要注意です。
WordPressでは、「設定」→「表示設定」の「検索エンジンがサイトをインデックスしないようにする」にチェックが入っていないかも確かめましょう。チェックが入っていると、すべてのページに noindex(検索結果に出さない指定)が付きます。制作中に入れたチェックを、公開後に外し忘れているケースがあります。
2. サイトマップを送信して、転送されるURLを載せていない
サーチコンソールの「サイトマップ」から、サイトマップのURLを送信しておきます。サイトマップには、転送(リダイレクト)されない、正式なURLだけを載せるのが基本です。
Cruwが自社サイトを点検したときも、サイトマップに、開くと別のページに転送される古いURLが2つ入っていました。どちらも、ページを作り直したときに残った固定ページです。サイトマップはプラグインが自動で作ってくれますが、中身が正しいかは、ときどき開いて確かめる必要があります。
3. 検索に出したくないページは、robots.txt ではなく noindex にする
よくある誤解が、「検索に出したくないページは robots.txt で止めればよい」というものです。Googleは、robots.txt はページを検索結果に出さないための仕組みではないと説明しています。止めるとページの中身が読めなくなり、ほかからリンクされているとURLだけが検索結果に出ることがあります。
お問い合わせの完了ページなど、検索に出したくないページは、クロールは許可したまま noindex を付けます。詳しくは「サンクスページはnoindexにすべき?」で紹介しています。
4. 大事なページへ、ふつうのリンクでたどれる
トップページやメニュー、パンくずリスト、関連する記事から、大事なページへ <a href> のリンクが張られているかを確かめます。どこからもリンクされていないページは、サイトマップに載っていても、見つけてもらいにくくなります。
ブログ記事なら、本文の中で関連するサービスのページや記事へリンクすると、クローラーにも読む人にも、ページ同士のつながりが伝わります。
5. サーチコンソールで、実際に読まれているかを確かめる
クローラーが実際にどう読んでいるかは、Googleのサーチコンソールで確認できます。
| 見る場所 | わかること |
|---|---|
| URL検査 | そのページがGoogleに登録されているか。「前回のクロール」(最後にクロールされた日時)、「クロールを許可?」(robots.txtで止めていないか)、「ページの取得」(読み込みに成功したか) |
| ページのインデックス登録 | 登録されていないページと、その理由 |
| 設定 →「クロールの統計情報」 | クロールの回数、ダウンロードの大きさ、サーバーの応答時間、エラーの有無 |
「クロールの統計情報」は、Googleの説明では、ページ数が1,000未満のサイトでは、ふつうは見なくてもよいとされています。ただ、サーバーのエラーや robots.txt を読めない状態が続いていないかは、ここで確かめられます。
新しいページを早く見つけてもらうには
新しいページを公開したり、大きく書き直したりしたときは、URL検査で「インデックス登録をリクエスト」を押すと、Googleにクロールをお願いできます。ただし、1日にリクエストできる数には上限があり、リクエストしても必ず登録されるとは限りません。ふだんは、サイトマップと内部リンクを整えておくことのほうが大切です。
よくある質問
クローラーが来る回数を増やすことはできますか?
直接増やす方法はありません。Googleが「クロールの割り当て(クロールバジェット)」の管理を考える必要があるとしているのは、100万ページ以上の大きなサイトや、1万ページ以上で毎日内容が変わるサイトなどです。中小企業のサイトなら、サイトマップを最新にしておき、サーチコンソールの「ページのインデックス登録」をときどき確かめれば十分です。
クローラーのせいで、サーバーが重くなることはありますか?
Googlebotは、平均すると数秒に1回より多くはアクセスしないように作られています。それでもクロールが多すぎて困るときのために、Googleは一時的な対処(短い期間だけ 503 や 429 のエラーを返すなど)を案内しています。長く続けると検索に影響するので、気になるときはサーバーの管理会社や制作会社に相談するのがおすすめです。
AIのクローラーを止めると、Googleの検索順位は下がりますか?
GPTBot・ClaudeBot などの他社のクローラーを止めても、Google検索の順位とは関係ありません。Google-Extended を止めても、Googleは、検索への掲載や順位には影響しないと説明しています。ただし、Googlebot を止めると、Google検索にもAI Overviews にも出なくなります。
まとめ
- クローラーは、サイトを巡回してページの内容を集めるプログラムです。クロールされないページは、検索結果に出ず、AIの回答でも紹介されにくくなります
- AIのクローラーは「検索用」「学習用」「利用者の質問用」に分かれています。まとめて止めると、AI検索で紹介される機会まで失うことがあります
- robots.txt・サイトマップ・noindex・内部リンク・サーチコンソールの5つを確かめておくと、「大事なページが読まれていない」という状態を防ぎやすくなります
robots.txt やサイトマップは、一度作ると見直されないままになりがちです。Cruwでは、ホームページ制作のほか、公開後のサイトの点検や改善を月額でお任せいただける「サイト改善おまかせパック」も行っています。「新しいページが検索に出てこない」「AIのクローラーをどうするか決めたい」という段階でも、お気軽にご相談ください。
関連する記事:
参照元:
- Google 検索セントラル「Googlebot とは」
- Google 検索セントラル「Google の一般的なクローラー」
- Google 検索セントラル「AI 機能とウェブサイト」
- Google 検索セントラル「robots.txt の概要とガイド」
- Google 検索セントラル「サイトマップの作成と送信」
- Google 検索セントラル「Google の SEO リンクに関するベスト プラクティス」
- Google 検索セントラル「JavaScript SEO の基本を理解する」
- Google 検索セントラル「クロール バジェットの管理」
- Search Console ヘルプ「クロールの統計情報レポート」
- Search Console ヘルプ「URL 検査ツール」
- OpenAI「Overview of OpenAI Crawlers」
- Anthropic「Does Anthropic crawl data from the web, and how can site owners block the crawler?」
- Perplexity「Perplexity Crawlers」







