(SEO用語での)インデックスとは、クローラーが収集したWEBページのデータが、検索エンジンデータベースに格納されることです。検索エンジンがインデックスを元に検索結果を表示しているので、インデックスされていないと検索結果に現れません。
検索エンジンはクロールしたすべてのページをインデックスするのではなく、ユーザーにとって価値が低いと判断されると、インデックスされないこともあります。また、クロールされたら即インデックスされるとも限りません。まず「インデクサ」と呼ばれるプログラムで検索エンジンにとって処理がしやすいデータに変換する中間処理が行われ、変換されたデータがインデックスされます。SEO施策ではこのようなプロセスを理解しておくことが必要です。
(SEO用語での)インデックスってどういう意味?
スズキ:インデックスはSEOをやる上では絶対に知っておくべきプロセスです。インデックスを知る前に、クロールというものを知っておく必要があります。
Webページの情報を検索エンジンが収集するために使うプログラムのことを「クローラー」と言います。GoogleはWebページの情報を収集するためのクローラーをいくつか持っていて、有名なのが「Googlebot」。GooglebotがWebページを這いつくばって情報を収集して情報を集めるプロセスのことを「クロール」と言います。
で、一旦Googlebotが集めたWebページの情報を整理整頓して、Googleが持っているデータベースに格納することを「インデックス」と呼びます。
要は、クローラーが集めた情報を収集するプロセスのことを「クロール」。クロールして集めたいろんな情報を整理整頓してデータベースに格納したデータベースのことをインデックスって言います。
アヤカ:では、Webページがインデックスされていないとどうなるんですか?
スズキ:検索されるためには、インデックスされている必要があります。インデックスされていないWebページは、たとえウェブ上に存在したとしても検索に出てきません。検索という観点からしてみたら、無いに等しい。
検索エンジンはクロールした全ページをインデックスするの?
アヤカ:検索エンジンは、クロールした全てのWebページをインデックスするという訳ではないんですか?
スズキ:わけではないですね。まずクロールが前提です。クロールできないページもあって、たとえば、サイト管理者が意図的にアクセスするな…という場合もありますし、あるいはパスワードで保護されたページはログインできないから、見れません。
だからといって、全てがインデックスされるとは限りません。たとえば、重複しているページ(中身は同じページだけどURLが違いページ)はGoogleにしてみたら別々のページです。重複したページは最終的にはどれか一つを選んで、他の残りのページはインデックスされなくなります。
他には、コンテンツの品質が悪い(検索結果に出すに値しないようなページの)場合、検索結果に出てこないこともあります。サイト管理者が意図的に検索エンジンにはヒットさせたくない、見せたくないという場合に「noindex」というメタタグをつけると検索結果に表示させないようにもできます。
クロールされたら即インデックスされるの?
アヤカ:クロールしたら、即インデックスされるんですか?
スズキ:現時点で言えば、一番早くて数秒でインデックスされます。以前は1~2日とか、1~2ヶ月かかった時代もあるんですよ。でも数秒、数分、数日のこともあるし、新規サイトだとクローラーがなかなか来ないので、数週間かかることも普通にあります。
インデックスを促進させる方法
アヤカ:インデックスされるために行うべきことってありますか?
スズキ:いくつか方法があります。まず、Googlebotがどうやって新しいサイトを発見するかっていうと、メインが「リンク」です。ページ内に他のページのリンクがありますよね。内部リンクの場合もあるし、外部リンクの場合もあります。
クローラーがWebページの情報をクロールするとき、まずリンクを取得します。そのリンクを順番にクロールしていきます。なので、新規サイトを公開するならトップページにリンクを貼る方が良い。トップページは玄関であり入口だから、一番クローラーが来やすいから。
あとは、リンクが多ければ多いほど、基本的にはクロールの頻度は高くなるんです。だから、一番重要なのは「リンク」です。リンクによってクロール・インデックスが促進されます。
他の方法としては、サイトマップというものを送信してください。サイトマップとは、自サイトのURLの一覧です。そのサイトマップに載っているURLをGoogleは見て、順番にクロールしていきます。新しいページを公開するとき、更新するときはサイトマップをGoogleに送信すると、そのURL情報に基づいてクローラーがやってきます。
Fetch as Googleって何?
アヤカ:そう言えば、Fetch as Googleというものを聞いたことがあるんですけど、これはサイトマップと関係しているんですか?
スズキ:Fetch as Googleは昔のツールです。今は後継機種ということで「URL検査ツール」をサーチコンソールで使います。URL検査ツールって、もともとは自サイトがインデックスされている状況を知るツールなんですよ。インデックスにURLを送信する機能が使えて、サイト管理者が能動的にクロールしにきてくれるようにリクエストできます。
アヤカ:そんなことできるんですか!
スズキ:サイトマップはGoogleが定期的にクロールしにきてくれるけど、URL検査ツールを使うと、今すぐきてくれるようにリクエストできます。ただ100%すぐにくるってわけではない。通常は数秒、数分以内にクロールしにきてくれる。ただ、これは日常的に使うツールではありません。
アヤカ:どういう場合に使うんですか?
スズキ:たとえば、ページ内容の間違いや追加内容。修正内容をすぐに検索結果に反映させたい場合に使います。使用上限が決まっていて、具体的に何回までかは公開されていないけど、毎日使うツールではありません。Googlebotにすぐに来て欲しくてインデックスを促進させたい場合は「リンク」「サイトマップ」の二つが重要だと考えてください。で、緊急時にURL検査ツールのインデックス送信を使います。
アヤカ:なるほど。ありがとうございました!
ミエルカチャンネル
「SEO初心者、Webマーケティング担当者、コンテンツマーケティングに取り組んでいる人、オウンドメディアを運営している人」向けにSEOの具体的な手順や手法の解説、Googleが発信した情報やガイドラインの解説、アルゴリズム変動速報を発信しています。
著者PROFILE
SEO・ソーシャル・動画の3領域でのコンテンツ企画と制作が得意な生粋のコンテンツクリエイター。ソフトバンク、楽天トラベル、Six Apart、freee、ファベルカンパニーを経て2024年に独立。コンテンツマーケティングを専業とし、オウンドメディアとYouTubeの設計 / 企画 / 執筆 / 編集 / 分析 / 改善 / SEO を幅広く行う。MarkeZine、Web担当者Forum、ねとらぼ、WorkshipMAGAZINE等で執筆しつつ、Content Marketing Academyでは特任講師を務める。
・Twitterアカウント @Cycle_Gadget
・Facebookアカウント https://www.facebook.com/junji.nakayama.104