BLOGブログ

クローラーとは? 検索エンジンとAIがサイトを巡回する仕組みと、正しく読んでもらうための5つの確認【2026年版】

竹節 大輝 /

Web制作・ホームページ制作 Webマーケティング

「クローラーって何?」「新しく作ったページが、なかなか検索に出てこない」「ChatGPTなどのAIのクローラーは、止めたほうがいいの?」——ホームページを運営していると、こうした疑問が出てきます。

クローラーは、Webサイトを巡回してページの内容を集めるプログラムです。検索エンジンもAI検索も、クローラーが読めたページの情報をもとに答えを作ります。つまり、クローラーに正しく読んでもらえないページは、検索結果に出ず、AIの回答でも紹介されにくくなります。

この記事でわかること:

  • クローラーがページを見つけて読む仕組み
  • Google・ChatGPT・Claude・Perplexity のクローラーの種類と違い
  • WordPressのサイトで確認したい5つの設定(Cruwの自社サイトの実例つき)

クローラーとは? 検索に出るまでの3つの段階

クローラーとは、インターネット上のWebサイトを自動で巡回して、ページの内容(文章・画像・リンクなど)を集めるプログラムです。「ボット」「スパイダー」とも呼ばれます。Googleのクローラーは「Googlebot(グーグルボット)」という名前です。

Google検索にページが出るまでには、3つの段階があります。

  1. クロール:Googlebotがリンクやサイトマップからページを見つけて、内容を読み込む
  2. インデックス登録:読み込んだ内容を整理して、Googleのデータベースに登録する
  3. 検索結果への表示:検索された言葉に合うページを、データベースから選んで表示する

クロールは、この最初の入り口です。クロールされなければ、どんなに良い内容のページでも、その内容が検索結果に載ることはありません。ただし、クロールされれば必ず登録・表示されるわけでもありません。

主なクローラーの一覧(2026年)

最近は、検索エンジンだけでなく、AIの会社のクローラーもサイトを訪れるようになりました。主なものは次のとおりです。

会社クローラー(robots.txtでの名前)役割
GoogleGooglebotGoogle検索のためのクロール。AI Overviews・AI Mode もこの検索の仕組みを使う
GoogleGoogle-Extendedクローラーではなく、robots.txtで使う名前。Geminiの学習などに使ってよいかを指定する
OpenAIOAI-SearchBotChatGPTの検索機能で、サイトを紹介するため
OpenAIGPTBotAIモデルの学習に使うため
OpenAIChatGPT-UserChatGPTの利用者の質問に答えるために、その場でページを読む
AnthropicClaude-SearchBotClaudeの検索の品質を上げるため
AnthropicClaudeBotAIモデルの学習に使うため
AnthropicClaude-UserClaudeの利用者の質問に答えるために、その場でページを読む
PerplexityPerplexityBotPerplexityの検索結果でサイトを紹介するため(学習には使わない)
PerplexityPerplexity-UserPerplexityの利用者の質問に答えるために、その場でページを読む

AIの会社のクローラーは、「検索用」「学習用」「利用者の質問に答えるとき用」に分かれていることが多いです。この違いは、あとの「AIのクローラーは止めるべき?」で使います。

クローラーがサイトを巡回する仕組み

リンクをたどって、新しいページを見つける

クローラーは、すでに知っているページに書かれたリンクをたどって、新しいページを見つけます。ほかのサイトからのリンクも、自分のサイトの中のリンク(内部リンク)も、入り口になります。

Googleがたどれるのは、基本的に href の付いた <a> タグのリンクです。JavaScriptのクリックだけで移動するボタンは、たどれないことがあります。

<!-- たどれる -->
<a href="/production/">ホームページ制作</a>

<!-- たどれないことがある -->
<span onclick="location.href='/production/'">ホームページ制作</span>
<a onclick="goTo('/production/')">ホームページ制作</a>

リンクの文字(アンカーテキスト)も、リンク先が何のページかを伝える材料になります。「こちら」「詳しくはこちら」より、「ホームページ制作の費用について」のように、内容がわかる文字にするのがおすすめです。

サイトマップで「ページの一覧」を渡す

サイトマップ(XMLサイトマップ)は、サイトにあるページのURLを並べたファイルです。リンクをたどるだけでは見つけにくいページも、サイトマップがあれば伝えられます。WordPressでは、本体やSEOプラグインが自動で作ってくれます。

Googleの説明では、サイトマップの書き方について次のようになっています。

  • <lastmod>(最終更新日)は、正確に書かれていれば使われる
  • <priority>(優先度)と <changefreq>(更新の頻度)は使われない
  • 1つのサイトマップは、5万URLまたは50MB(圧縮前)まで。超えるときは分ける

つまり、「優先度を上げれば早く来てくれる」ということはありません。大事なのは、正しいURLだけを載せて、更新日を正確にしておくことです。

JavaScriptで表示する内容は、あとから読まれる

JavaScriptで画面に文字を出しているページは、Googleが「クロール → レンダリング(JavaScriptを動かして画面を作る)→ インデックス登録」の順に処理します。レンダリングは順番待ちになり、数秒で終わることもあれば、それより長くかかることもあります。

また、Googleの説明にもあるとおり、すべてのクローラーがJavaScriptを動かせるわけではありません。AIのクローラーにも読んでもらいたい会社の紹介やサービスの説明は、HTMLに直接書いておくほうが確実です。WordPressで普通に書いたページなら、HTMLに文章が入っているので心配はいりません。

読み込まれるのは、ファイルの先頭2MBまで

Googlebotは、HTMLなどのファイルの先頭2MBまでを読み込みます(PDFは64MBまで。圧縮する前の大きさで数えます)。2MBを超えた部分は、読まれません。

ふつうのWebページなら、まず問題になりません。たとえば、Cruwのサイトのトップページは約77KB、文章や表の多いブログ記事でも約88KB(どちらも圧縮前)で、2MBの20分の1にもなりません。ただ、画像をHTMLの中に直接埋め込んでいる(data: で始まる画像)ページや、とても長い一覧ページでは、確かめておくと安心です。

AIのクローラーは止めるべき? 「学習用」と「検索用」の違い

止めると、AI検索に出なくなるクローラーがある

AIのクローラーを止めるかどうかは、どのクローラーを止めるかで結果が変わります。各社の説明をまとめると、次のとおりです。

止めるもの起きること
GPTBot・ClaudeBot(学習用)今後の内容を、AIモデルの学習に使わないでほしいと伝えられる。OpenAIは、それぞれの設定は別々で、OAI-SearchBotを許可したままGPTBotだけを止められると説明している
Google-ExtendedGeminiの学習などに使われなくなる。Googleは、Google検索への掲載や順位には影響しないと説明している。AI Overviews・AI Mode に出るかどうかは、Google-Extended ではなく、Googlebot や noindex などの通常の検索の設定で決まる
OAI-SearchBot・Claude-SearchBot・PerplexityBot(検索用)それぞれのAIの検索の回答で、サイトが紹介されなくなる、または紹介されにくくなる。OpenAIは、OAI-SearchBotを止めたサイトはChatGPTの検索の回答に出ないが、サイトへのリンクとしては出ることがあると説明している
GooglebotGoogle検索にも、AI Overviews・AI Mode にも出なくなる

「AIに勝手に使われたくない」という理由で、AIのクローラーをまとめて止めてしまうと、AI検索で自社が紹介される機会まで失うことがあります。学習には使われたくないけれど、AI検索には出たい場合は、学習用だけを止めます。

# 学習用のクローラーだけを止める例(robots.txt)
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

なお、「利用者の質問に答えるとき用」のクローラーは、扱いが会社によって違います。OpenAI(ChatGPT-User)とPerplexity(Perplexity-User)は、人が頼んだ読み込みのため、robots.txtの指定が当てはまらない場合があると説明しています。Anthropicは、自社のクローラーはrobots.txtの指定に従うと説明しています。

Cruwが自社サイトでAIのクローラーを止めていない理由

Cruwのサイトの robots.txt は、次のように、WordPressの管理画面だけを止めた、シンプルなものです。AIのクローラーは止めていません。

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://cruw.co.jp/sitemap.xml
Sitemap: https://cruw.co.jp/sitemap.rss

Cruwは、AIに「長野県上田市のWeb制作会社」として正しく紹介してもらうことを目指して、自社サイトでAIO対策をしています。AIに読まれないと紹介もされないので、検索用も学習用も止めない、という判断をしています。

どちらがよいかは、会社によって違います。たとえば、有料で販売している資料や、独自に作った文章を学習に使われたくない場合は、学習用だけを止める、という選び方もあります。

正しく巡回してもらうための5つの確認(WordPressの場合)

1. robots.txt やWordPressの設定で、大事なページを止めていない

robots.txt は、サイトのいちばん上の階層(https://〜/robots.txt)に置く、クローラーへのお願いを書いたファイルです。ブラウザで開くと、中身を確認できます。User-agent: * の下に Disallow: / と書かれていたら、すべてのクローラーに対して、サイト全体のクロールを止めているので要注意です。

WordPressでは、「設定」→「表示設定」の「検索エンジンがサイトをインデックスしないようにする」にチェックが入っていないかも確かめましょう。チェックが入っていると、すべてのページに noindex(検索結果に出さない指定)が付きます。制作中に入れたチェックを、公開後に外し忘れているケースがあります。

2. サイトマップを送信して、転送されるURLを載せていない

サーチコンソールの「サイトマップ」から、サイトマップのURLを送信しておきます。サイトマップには、転送(リダイレクト)されない、正式なURLだけを載せるのが基本です。

Cruwが自社サイトを点検したときも、サイトマップに、開くと別のページに転送される古いURLが2つ入っていました。どちらも、ページを作り直したときに残った固定ページです。サイトマップはプラグインが自動で作ってくれますが、中身が正しいかは、ときどき開いて確かめる必要があります。

3. 検索に出したくないページは、robots.txt ではなく noindex にする

よくある誤解が、「検索に出したくないページは robots.txt で止めればよい」というものです。Googleは、robots.txt はページを検索結果に出さないための仕組みではないと説明しています。止めるとページの中身が読めなくなり、ほかからリンクされているとURLだけが検索結果に出ることがあります。

お問い合わせの完了ページなど、検索に出したくないページは、クロールは許可したまま noindex を付けます。詳しくは「サンクスページはnoindexにすべき?」で紹介しています。

4. 大事なページへ、ふつうのリンクでたどれる

トップページやメニュー、パンくずリスト、関連する記事から、大事なページへ <a href> のリンクが張られているかを確かめます。どこからもリンクされていないページは、サイトマップに載っていても、見つけてもらいにくくなります。

ブログ記事なら、本文の中で関連するサービスのページや記事へリンクすると、クローラーにも読む人にも、ページ同士のつながりが伝わります。

5. サーチコンソールで、実際に読まれているかを確かめる

クローラーが実際にどう読んでいるかは、Googleのサーチコンソールで確認できます。

見る場所わかること
URL検査そのページがGoogleに登録されているか。「前回のクロール」(最後にクロールされた日時)、「クロールを許可?」(robots.txtで止めていないか)、「ページの取得」(読み込みに成功したか)
ページのインデックス登録登録されていないページと、その理由
設定 →「クロールの統計情報」クロールの回数、ダウンロードの大きさ、サーバーの応答時間、エラーの有無

「クロールの統計情報」は、Googleの説明では、ページ数が1,000未満のサイトでは、ふつうは見なくてもよいとされています。ただ、サーバーのエラーや robots.txt を読めない状態が続いていないかは、ここで確かめられます。

新しいページを早く見つけてもらうには

新しいページを公開したり、大きく書き直したりしたときは、URL検査で「インデックス登録をリクエスト」を押すと、Googleにクロールをお願いできます。ただし、1日にリクエストできる数には上限があり、リクエストしても必ず登録されるとは限りません。ふだんは、サイトマップと内部リンクを整えておくことのほうが大切です。

よくある質問

クローラーが来る回数を増やすことはできますか?

直接増やす方法はありません。Googleが「クロールの割り当て(クロールバジェット)」の管理を考える必要があるとしているのは、100万ページ以上の大きなサイトや、1万ページ以上で毎日内容が変わるサイトなどです。中小企業のサイトなら、サイトマップを最新にしておき、サーチコンソールの「ページのインデックス登録」をときどき確かめれば十分です。

クローラーのせいで、サーバーが重くなることはありますか?

Googlebotは、平均すると数秒に1回より多くはアクセスしないように作られています。それでもクロールが多すぎて困るときのために、Googleは一時的な対処(短い期間だけ 503 や 429 のエラーを返すなど)を案内しています。長く続けると検索に影響するので、気になるときはサーバーの管理会社や制作会社に相談するのがおすすめです。

AIのクローラーを止めると、Googleの検索順位は下がりますか?

GPTBot・ClaudeBot などの他社のクローラーを止めても、Google検索の順位とは関係ありません。Google-Extended を止めても、Googleは、検索への掲載や順位には影響しないと説明しています。ただし、Googlebot を止めると、Google検索にもAI Overviews にも出なくなります。

まとめ

  • クローラーは、サイトを巡回してページの内容を集めるプログラムです。クロールされないページは、検索結果に出ず、AIの回答でも紹介されにくくなります
  • AIのクローラーは「検索用」「学習用」「利用者の質問用」に分かれています。まとめて止めると、AI検索で紹介される機会まで失うことがあります
  • robots.txt・サイトマップ・noindex・内部リンク・サーチコンソールの5つを確かめておくと、「大事なページが読まれていない」という状態を防ぎやすくなります

robots.txt やサイトマップは、一度作ると見直されないままになりがちです。Cruwでは、ホームページ制作のほか、公開後のサイトの点検や改善を月額でお任せいただける「サイト改善おまかせパック」も行っています。「新しいページが検索に出てこない」「AIのクローラーをどうするか決めたい」という段階でも、お気軽にご相談ください。

関連する記事:

参照元:

/

GoogleのAI検索で「Cruwのブログ」を優先表示しませんか?

Googleの最新機能では、お気に入りのサイトを「優先するソース」として登録できるようになりました。登録していただくと、GoogleのAIモードやAI Overviewsが回答をつくる際、当サイトの情報を優先的に参照・表示してくれるようになります。

これからも地域ビジネスに役立つ最新のWebマーケティング情報を発信していきますので、ぜひ優先ソースへのご登録をお願いいたします!

この記事をシェアする