2021.10.13
インデックスとは
Googleの検索インデックスとは、Googleが検索結果で表示する可能性のあるWebページを保管しているデータのことを指します。インデックスに含まれるWebページは数千億に及び、サイズは100,000,000ギガバイトを優に超えるそうです。
Googleで検索をすると、このインデックスに登録されているWebページの中から、検索キーワードと関連する情報が検索結果画面に表示されるようになっています。つまり、Web上に公開しているコンテンツであっても、インデックスに登録されないとGoogle 検索には表示できないということです。インデックスされるには、GoogleにURLを見つけてもらい、GoogleのクローラであるGooglebotにWebサイトをクロールされる必要があります。また、クロールされたURLが必ずインデックスされる訳ではない点についても認識しておきましょう。
インデックスの状況を確認する方法
インデックスされているかどうかを確認する方法は大きくわけてふたつあります。
確認方法1：Googleで検索する
手軽に確認したい場合におすすめの方法です。セーフサーチが無効になっていることを確認したうえで、以下をおこないます。
・Webサイト全体を確認したい場合、Googleで「site:調査したいドメイン」で検索する
・URL単体を確認したい場合、Googleで「調査したい完全なURL」で検索する
いずれの場合であっても結果が表示されない場合はインデックスされていない可能性があります。
確認方法2：Google サーチコンソールでURL検査をおこなう
この方法はインデックスされない理由なども表示されるので、前述の方法よりも多くの情報が得られます。Google サーチコンソールを利用できる場合はこちらをお勧めします。
1．Google サーチコンソールで確認したいURLをページ上部のURL検査枠に入力する
2．結果画面上部にインデックス状況、カバレッジ部分にインデックスに関する詳細情報が表示される
（図1：Google サーチコンソールのURL検査の結果画面）
インデックスされない理由を調査する前に
次の章から、インデックスされない主な理由について調査手順や対処法をご紹介しますが、まずはインデックスさせたい対象のURLが下記に該当しているかどうかを確認してください。
・下記のうち、少なくともひとつ以上の方法で対象URLをGoogleに通知している
∟sitemap.xmlで通知している
∟インデックスされている既存のページから内部リンクを設置している
∟Google サーチコンソールで「インデックス登録をリクエスト」をしている
・公開から1週間以上経過している
これらに該当している場合は読み進めていただければと思いますが、該当しない場合はURLをGoogleに通知して1週間ほど待ってみてください。対象のURLに問題がなくてもGoogleがURLを発見してからインデックスされるまでに一定の時間が必要なためです。Webサイトによってインデックスされるまでの時間は異なりますが、1週間程度は様子をみるようにしましょう。
インデックスされない理由と調査手順、対処法
理由1：noindexが実装されている
noindexを使用すると、「インデックスさせたくない」という指示をGoogleに伝えることができます。つまり、あやまってインデックスさせたいURLに実装してしまうとインデックスされなくなります。
●調査方法
noindexには実装方法がふたつあります。以下の2箇所を確認してみましょう。
・HTMLの<head>セクションでnoindexを実装しているケース
1．確認したいURLをGoogle Chromeで表示
2．F12キーでデベロッパーツールを開き、Elementタブを選択
3．<head>セクション内に以下のようなタグがないか確認する
<meta name="robots" content="noindex">
・HTTP レスポンス ヘッダーでnoindexを実装しているケース
1．確認したいURLをGoogle Chromeで表示
2．F12キーでデベロッパーツールを開き、Networkタブを選択してリロード（Ctrl+rキー）する
3．一般的に先頭のファイルがもととなるHTMLファイルとなるため、これをクリック
4．Response Headers内の情報を確認
（図2：HTTP レスポンス ヘッダーでnoindexを実装している例）
●対処法
あやまってnoindexが実装されていた場合は該当箇所を削除し、Google サーチコンソールから「再クロールをリクエスト」します。他に問題がなければ1週間程度でインデックスされるはずです。
理由2：canonicalタグで別のURLを指定している
Webサイトを運営していると、合理的な理由で重複するURLが複数必要になるケースがあります。代表的なのは、デバイスごとにURLを分けているケース、検索パラメータやセッションIDなどで動的URLを利用するケースです。こういったケースで正規のURLをGoogleに指示するために利用するのがcanonicalタグです。canonicalタグでURLを指示することで、複数の重複したURLの中からインデックスしてほしいURLを正規URLとして指示することができます。
このため、あやまってインデックスさせたいURLのcanonicalタグで別URLを指定すると、GoogleはそのURLをインデックスする必要性が低いと判断してしまいます。最近では、内容が大きく異なるURL間でのcanonicalの指示はGoogleが無視することも多いようですが、インデックスに問題が生じた場合はcanonicalタグの内容も確認しましょう。
●調査手順
1．確認したいURLをGoogle Chromeで表示
2．F12キーでデベロッパーツールを開き、Elementタブを選択
3．<head>セクション内の以下のタグで指定しているURLが別ページのURLになっていないか確認する
<link rel="canonical" href="正規化先のURL" />
あまり多くありませんが、canonicalはHTTP ヘッダーやサイトマップで指示することもできます。心当たりがある場合は、これらも確認してみましょう。
●対処法
あやまってcanonicalタグで別のURLを指定していた場合は、指定するURLの記述を適切なものに修正し、Google サーチコンソールから「再クロールをリクエスト」します。他に問題がなければ1週間程度でインデックスされるはずです。
理由3：robots.txtでブロックしている
robots.txtを利用するとGoogleにアクセスしてよいURLを伝えることができます。アクセスしてほしくないと伝えた（ブロックした）URLはクロールされません。本来インデックスをコントロールするために使う機能ではありませんが、ブロックされているURLはインデックスされないことがあります。ブロックされているURLがWeb上の別のページからリンクされているような場合はインデックスされることがありますが、Googleはページの内容をクロールしないので検索結果では以下のように「このページの情報はありません。」と表示されてしまいます。
（図3：robots.txtでブロックされているURLが検索結果で表示された時の様子）
インデックスされるかどうかに関わらず、広く検索ユーザーに届けたいURLはGoogleがきちんとクロールできるよう、robots.txtでブロックしないようにしましょう。
●調査手順
1．Google サーチコンソールにログインした状態で下記のrobots.txtテスターツールを開く
2．確認したいURLを入力して「テスト」を押下すると、アクセスの許可状況を確認できる
（図4：robots.txtテスターツールの利用イメージ）
参照元：Search Console - robots.txt テスター
また、robots.txtファイルは原則としてルートドメイン配下に設置されているため、robots.txtを利用しているWebサイトであれば以下のURLにアクセスしても閲覧できます。
例）[https://www.example.com]の場合、[https://www.example.com/robots.txt]
●対処法
インデックスさせたいURLをあやまってブロックしていた場合は、robots.txtの記述を変更して該当URLをGoogleがクロールするようにしましょう。
理由4：Googleから「手動による対策」を受けている
何らかのスパム行為をおこなっていた（ている）場合、「手動による対策」を受けてGoogleの検索結果に表示されなくなることがあります。
●調査手順
1．Google サーチコンソールを開き、「手動による対策」を選択
2．「手動による対策」の状況を確認する
（図5：Google サーチコンソールで手動による対策の状況を確認する画面）
●対処法
手動による対策を受けていた場合、図5の画面で対策内容が表示されます。表示される説明に沿って問題を修正し、すべての問題を修正したらGoogleに「再審査をリクエスト」して手動による対策の解除をおこないましょう（手動による対策は問題も解除法も多岐に渡るため、必要に応じて専門家に相談することを推奨します）。
理由5：重複（類似）するページがあるのでインデックスする必要がないと判断されている
Googleが該当URLを確認したうえで、重複（類似）するURLがあるためインデックスする必要がないと判断しているケースです。
●調査手順
1．Google サーチコンソールで該当URLの検査結果を確認
2．カバレッジ部分で、以下のような文言が表示される
・「重複しています。ユーザーにより、正規ページとして選択されていません」
・「重複しています。Google により、ユーザーがマークしたページとは異なるページが正規ページとして選択されました」
・「重複しています。送信された URL が正規 URL として選択されていません」
●対処法
厳密には上記の文言それぞれで状況が異なりますが、いずれも「Googleが選択した正規URL」の箇所に、Googleが重複していると判断したうえでインデックス対象とした正規URLが表示されます。インデックスさせたいURLと、Googleが判断した正規URLを見比べて、両方をインデックスさせるべきかどうかを一度検討しましょう。これまでの経験から、両方をインデックスさせる必要性は低いことがほとんどかと思います。どうしてもそれぞれをインデックスさせたい場合は、ページの内容を見直して差別化することでインデックスされる可能性があります。
（図6：URL検査の結果で、Googleが選択した正規URLが表示される例）
紹介した内容の他にもインデックスから除外される理由にはさまざまなものがあり、Webサイト運営者側に明確な対処法がない「クロール済み - インデックス未登録」などもあります。個別の理由とその説明はGoogleのヘルプページに記載がありますので、参考にしてみてください。
参考：インデックス カバレッジ レポート - Search Console ヘルプ
どうしても解決しない時は？
多くの場合は前述の内容を確認することで解決（あるいはインデックスされない理由を推測）することができると思いますが、明確な問題がないのにインデックスされない場合は、Google側のバグの可能性があります。こういったケースのために、2021年8月にGoogle サーチコンソールを利用しているWebサイト担当者向けにインデックスに関する問題を報告するフォームが公開されました。2021年9月時点では英語で申請する必要があります。フォームから申請したとしても必ずインデックスされるとは限りませんが、どうしても解決しない場合は利用してみても良いでしょう。
Google サーチコンソールにログインした状態で下記のURLに英語でアクセスすると、ページ下部にフォームへのリンクが表示されます。
参考：Index Coverage report - Search Console Help
まとめ
Webサイトを運営していると、インデックス状況が気になることも多いと思います。理想的なインデックスの状況は、Webサイト内の重要なページの正規バージョンがインデックスに登録されていることです。公開しているすべてのWebページをインデックスさせようとすることに意味はありません。この前提を踏まえてGoogle サーチコンソールのカバレッジレポートからインデックス状況を確認すると良いでしょう。インデックスに関して課題をお持ちの場合は、アイレップへご相談ください。
