【放置厳禁】サーチコンソールの「クロール済みインデックス未登録」はサイトのSOSかも…！

「クロール済みインデックス未登録」とは？

今回は「Google Search Console（サーチコンソール）」のメニューにある「クロール済みインデックス未登録」という項目について解説していきます。

この言葉を「見かけたことあるよ」という方もいらっしゃるでしょうし、「そもそもサーチコンソールそんなに使いこなしてないよ」という方もいらっしゃるかもしれません。

サーチコンソールというと、普通は「どういう検索キーワードでサイトに来てくれているか」が分かるツール、という認識が強いですよね。ですが、実はサーチコンソールには他にも結構優秀な機能が備わっています。

なぜこのメニューを定期的に見るべきなのか

もし普段からサーチコンソールを使っているよ、という方は、ぜひこの「クロール済みインデックス未登録」も、今後は定期的にチェックするメニューとして加えていただきたいなと思っています。

なぜなら、内容によっては結構サイトのまずい状態を発見できることもあるからです。

それでは早速、その内容について解説していきたいと思います。

「クロール済みインデックス未登録」の具体的な意味

サーチコンソールのどこにある？

サーチコンソールの管理画面を見てみると、この「クロール済みインデックス未登録」は、サイドバーの「ページ」というメニューの中に表示されます。

これは、出ている人もいれば、出ていない人もいる、というものです。

ただ、大抵の人はあるんじゃないかなと思います。よっぽどページ数が少ないサイトでなければ、出ていることが多いですね。ページ数がある程度あると、どうしてもこういうページ（インデックス未登録のページ）が出てくる、ということです。

Googleの公式説明

これがどういう内容か、まずはGoogleの公式な説明を確認してみましょう。
公式には「ページはGoogleによりクロールされましたが、インデックスには登録されていません。今後インデックスに登録される可能性もありますが、登録されない可能性もあります。」というように書かれています。

さらに「このURLのクロールのリクエストを再送信する必要がない」とも書かれていますが、これは「（インデックス登録の）必要性がないページがここに載っている」ということなので、基本的には再送信の必要はない、という意味です。……とはいえ、厳密には「全く無いことは無い」という感じではあるんですが。

この説明だと、ちょっと分かりづらいかなと思います。

クローラーの動きをイメージで解説

これを分かりやすく、図解のようなイメージで解説してみましょう。

Googleは「クローラー」と呼ばれる、まあロボットみたいなものを想像してもらえれば良いと思うんですけど、そのロボットがインターネット上のいろんなWebサイトを巡回しているんですね。

「インターネットにこういうページがあるんだ」というのを、クローラーというロボットが発見して、みなさんが普段見ている検索結果に載るようになります。クローラーは、リンクからリンクを辿ってサイトを巡回していきます。

例えば、Googleの「G」というロゴがクローラー（ロボット）だと想像してみてください。

この子（クローラー）が、とあるWebサイトの1ページにやって来ます。そして、上からバーっと内容を見ていきます。
最終的に、そのページを見て「いいね！」となった場合、つまりOKとなった場合は、検索結果に載ります。

一方で、NGとなった場合、これが今回解説している「クロール済みインデックス未登録」というわけです。

要は、Googleのクローラーがサイトにやってきたことを「クロール済み」と言います。この後、インデックスに登録された場合は検索結果に出る。そして「インデックス未登録ですよ」、要は「NGですよ」となった場合は、この未登録のページリストに載る、ということになってます。

なぜ「インデックス未登録」になるのか？

多くの場合、これは「検索に載せるべきじゃないな」とGoogleが判断したので、勝手にそうしてくれている、ということなんです。

ですが、場合によっては、本当は検索に載ってなきゃいけないページなのに、なぜかここに登録されてしまっている場合があるんですね。それって、サイトにとっては非常にまずい状況だと思います。

そういう「まずい状況」を発見するために使えるのが、この「クロール済みインデックス未登録」のメニューなんです。

「クロール済みインデックス未登録」に載る条件

では、どういうページが、サイトにやってきたクローラーに「これは検索に載せなくていいかな」と判断されてしまうのでしょうか。理由はいくつかあります。

1. 品質の低いページ

1つ目は、品質が低いというものです。

例えばよくあるのが、お知らせページでの「明けましておめでとうございます」みたいな、企業の年始の挨拶とかですね。あれって、わざわざ検索に載せる必要ないなとGoogleは判断しちゃうんですね。

なぜなら、何かの役に立つような「質が高い」ページじゃないですよね？
既にお取引のあるお客様には見てもらって、挨拶だと受け取ってくれるかもしれないですけど、多くの不特定多数の人にとっては、企業の一挨拶をわざわざ検索結果に載せても、役に立つ確率って低いんですよね。

「〇〇株式会社 新年の挨拶」とかで検索する人は、ほとんどいません。

なので、そういう場合は「質が低い」と判断されます。挨拶も2〜3行とかで終わっちゃうことが多いと思うので、ページとしても非常に品質が低いわけです。
こういうものは検索に載せる必要はないな、ということで「クロール済みインデックス未登録」に登録されたりします。

2. 技術的なページ・自動生成ページ

次に、「技術的なページ」とか「自動生成ページ」みたいなものが載ることが多いです。

例えばどういうものかというと、WordPressとかでよくあるんですけど、「フィード（feed）」です。
WordPressには「RSSフィード」という機能が標準で付いています。（RSSがわからない方も多いと思うんですけど、一応、Webサイトが更新されたかどうかを通知で受け取るための技術です）

そのRSSフィード用のURLを自動的に生成する機能が、WordPressにはあるんですね。
それをGoogleが発見して、「これはRSSフィードだから、検索に載せる必要はないね」と言って、ここに載る率が物凄く高いです。

そういう技術的なページであったり、あとは「カテゴリーページ」もそうですね。
カテゴリーを作成しただけで、そのカテゴリーのページがWordPressとかだと自動でできてしまいます。でも、そのカテゴリーページがあるだけでは、特にその中身って何も無いじゃないですか。なので、「これは質が低いね」と判断される、ということです。
そういうページも、よくこちらに載っていることがあります。

3. 負荷の高いページ

あとは、物凄い「負荷の高いページ」とかも載る可能性があります。

クローラー（ロボット）がサイトにやってきて、例えば何ギガもあるような重たいページだったとします。クローラーが「これ重たいから、Google（のシステム）に負荷がかかってしまうので、やめた」ということで、載せるのを見送る、というパターンです。
（まあ、クロールも最後までしきってないという状況だとは思うんですけど）
そういう場合も、こちらに載る可能性がありますね。

4. Googleのうっかりミス

ほとんどないんですけど、「うっかりミス」みたいな感じです。
本来は評価されていいはずなのに、Google側の何かしらの技術的ミスで載らなかった、というパターンも当然あります。

5. noindex（ノーインデックス）

あとは単純に「ノーインデックス（noindex）」ですね。
WebサイトのHTMLに「このページはインデックス（検索に載せるの）をやめてください」という「noindexタグ」を埋め込むことができるんですね。

こういうものが登録されているページも、当然「クロールしたけど、noindexと入ってたのでやめました」ということで、「クロール済みインデックス未登録」になります。

6. 重複系のページ

最後に思いつくのは、「重複系のページ」です。

例えば、Aというページがあって、そのAというページには「あいうえお」とだけ書いてあるとしましょう。そしてBというページにも「あいうえお」だけ、Cも「あいうえお」だけ書いてあるような、同じ内容のページが複数あった場合です。

この時、「canonical（カノニカル）タグ」というもので、「ページは複製されてるけど、親元のURLはこれ（Aのページ）です。この記事が一番優先度高いですよ」みたいに示すことができます。
このcanonicalタグで指定されなかった方のページ（BやC）ですね。これらも「クロールしたけどインデックスに載せない」ということになります。

その他、このcanonicalタグが入っていなくても、重複したページ（同じ内容のページ）がいくつもあった場合に、Google的に「これが一番良さそうだから」と勝手に一個ピックアップして、それ以外のページがインデックス未登録になるということもあります。

私たちはどう対処すべきか？

基本的には対処不要なことが多い

多くの場合、この「クロール済みインデックス未登録」は、特に何も対策をする必要がありません。

改善が必要な2つのパターン

ですが、2つのパターンにおいては改善しなきゃいけない、ということがあります。

それは、先ほど挙げた「技術的なうっかりミス」の場合。これは早急に検索に載せて欲しいですよね。
そしてもう一つは、「品質が低いとみなされてしまったページ」です。自分的にはもう「渾身のページだ！」と思ったけど、Google的にはなぜか評価が低い、となってしまった場合です。

ちなみに、Googleは「なぜそこに載ることになったか」を教えてくれません。

見分ける方法と対処法

見分ける方法としては、まず「クロール済みインデックス未登録」のページ一覧（URLがバーッと並んでいます）を見ます。
そのURLの中で、「あれ？ このページが検索に載ってないのはおかしくないか？」みたいなページがあったら、それは早急に改善の必要があります。

なので、そのページの内容をもう一度見直してみる、だったり。それを見て「確かに品質低いかもな」と思ったら、少し内容を付け足したりとか、そういうことをしていただく必要があります。

定期的なチェックが重要

定期的にこの「クロール済みインデックス未登録」のURLリストを見て、重要なページが入ってないかというのを探す必要があると冒頭に言ったのは、そういうことなんですね。

低品質ページは削除すべき？

あとは、これは正解が明かされていないので何とも言えないんですけど、「品質が低いページは基本的には非公開、というか削除とかした方がいい」という風に言われていた時期がありまして。

未だにそういう宗派的なところがあるので、そういうことをおっしゃる方もいらっしゃいますし、一方で「Googleの技術が年々向上していますので、そこまで細かくやらなくていいよ」という方もいらっしゃいます。

どちらを信じるかは、あなた次第というところですけど…。

個人的には、「新年の挨拶の2022年の記事」とか、そんなの載せておく必要ないかなと思うので、そういうのは削除してしまってもいいんじゃないかと思います。悩むものは取っておいて、「確かに削除してもいいかもな」と思ったものは削除する、というのが個人的には妥協ラインかなと思っております。

まとめ

以上が、「クロール済みインデックス未登録」についての解説でした。

サーチコンソールは、Googleアナリティクスほどメジャーではないので、あまり定期的に見るという方は多くない印象があります。

ただ、非常に重要なメニューというのも、サーチコンソールはいくつか備えています。
これを機会に、ぜひインデックス未登録ページを見返していただければいいと思います。