検索に表示してもらうにはGoogleにWebページをインデックスしてもらう必要がありますね。しかし、単にインデックスしてもらえればそれでOKなのかと言うと、そうではありません。
SEOで気をつけるべきインデックスとは何なのか？
検索エンジンに評価されるインデックスの最適化についてまとめました。
目次
インデックス（インデクシング）とは
Googleのインデックス処理では、クロールして持ち帰ってきたWebページの情報から、Googleがテキスト等の情報を解析して、ユーザーが検索した時にデータを引っ張って来れるように「索引」を作っています。
世界中のWebページの膨大な「索引」に対し、Googleのアルゴリズムを用いて検索ユーザーの欲しい情報が記載されているページを推測し、検索結果を表示します。
本の巻末に収載されている索引と同様に、Google のインデックスには、単語と単語が使われていたページに関する情報が含まれています。検索を行うと、まずはアルゴリズムに従ってインデックスから検索キーワードに対し適切なページを見つけます。
検索プロセスは、そこからさらに非常に複雑になります。「犬」を検索する場合、必要なのは「犬」という単語が何百回も出現するページではありません。おそらく求められているのは、写真や動画、または犬の種類の一覧表などでしょう。Google のインデックス登録システムでは、公開された時期、写真や動画の有無など、ページのさまざまな特性に着目します。
Google検索サービス『クロールとインデックス』より
インデックスを最適化をするべき理由
通常はクロールされれば、ページはインデックスされます。
そして、インデックスされたページは検索結果に表示されます。
これが何を意味するのかというと、インデックスされているページは検索ランキングの評価対象として見られるということです。
しかし、全てのページをインデックスさせることが必ずしもSEOに良いとは限りません。
Webサイトと一言で言っても、様々なタイプのコンテンツやページが存在します。SEOを考慮するなら、むしろインデックスさせたくないページがあってもおかしくありません。
具体的には、
- コンテンツが薄い低品質なページ
- 重複コンテンツ
- 自動生成コンテンツなどのスパムになり得るページ
- そもそもインデックスする必要のないページ（サンクスページ、ログイン後のページなど）
といった類のページです。
特に、低品質なページや重複コンテンツが多くあると、Googleからの評価が下がってしまいます。（スパムは論外）
そこで、インデックスするページとインデックスしないページを適切に管理して、Googleに見せるコンテンツの質を維持し、検索順位に良い影響を与えようと言うのがインデックス最適化です。いわば、検索エンジンに向けたWebサイトの品質管理のようなものですね。
参考：
【翻訳記事】インデックス整理で平均検索順位を26%向上させたSEOの手順
インデックスの整理で検索流入が二倍になった話 | SEO 検索エンジン最適
インデックス最適化は裏ワザではない
インデックスを最適化できるからと言って、低品質ページや重複コンテンツ、ましてやスパムコンテンツを作っても良いということにはなりません。そもそもそのようなコンテンツが生産されないような運用をしていくことが前提です。
しかし、検索エンジン（への表示）にとっては価値がなくても、ユーザーにとっては意味のあるページが存在するケースは考えられます。
例えば、ECサイトで同一商品の色違いの商品のページが別々のURULで存在する時などはどうでしょうか。Googleから見れば、ほぼ同一内容のページが複数存在していると判断しますが、ユーザーから見れば、色違いがあるということは意味を持ちますよね。
このように、状況に応じてインデックス最適化をするべきか考えます。
インデックスを最適化する方法
インデックスしてもらうには、まずGoogleにWebサイトをクロールしてもらう必要があります。ですので、クロールしやすい環境を整えることも大切です。
クロール最適化とインデックス最適化は、どちらも互いに影響し合う部分があるため、併せて行いましょう。クロール最適化については、以下の記事を参考にしてください。
noindex でインデックスを除外する
noidex はページを検索結果に表示しないようにGoogleに指示をするためのmeta情報です。
インデックスをしたくない個々のページの head タグ内に meta 要素で記述します。
noindex が認識されると、検索結果に表示されなくなります。
<meta name="robots" content="noindex" />rel=canonical でページ（URL）を正規化する
同一ページなのに別URLがある場合やパラメータ付きのURLがある場合などに、代表とするURLを検索エンジンに伝えるのがURLの正規化です。canonical は カノニカル と読みます。noindex と併用できません。
canonical が認識されると、代表のURLのみが検索結果に表示されるようになります。
link要素で指定するのは、検索で表示させたい代表URLです。head タグ内に記述します。
パラメータ付ページ page.html?cmp_id=abc を代表ページ page.html に正規化したい場合<link rel="canonical" href="http://example.com/page.html" />
301リダイレクトで転送する
重複するページを統合させる手段として、301リダイレクトを設定する方法もあります。
noindex や canonical は、該当のページにアクセスできるのに対し、301リダイレクトでは統合された代表のページだけが表示される点が異なります。（転送される）
ユーザーにもロボットにも代表のページ以外は見せなくするのが、301リダイレクトです。www有り無しの統一やドメインの移転などもリダイレクトを利用できます。
abc.html と def.html を xyz.html にリダイレクトする例
Redirect permanent http://sample.com/abc.html http://sample.com/xyz.html
Redirect permanent http://sample.com/def.html http://sample.com/xyz.html
インデックスするページのみをサイトマップファイルに記載する
クローラーに見てもらうサイトマップファイル（XML形式等）には、インデックスするページのみを記載することが原則です。noindex を設定したページは、忘れずにサイトマップからも削除するようにしましょう。
少しでも早くインデックス削除をしたい時は、少しの間サイトマップファイルには noindex されたページを残しておくと、noindexの処理が早くなります。
サイトマップファイルに情報を残しておけば、更新情報が検知されて再クロールが早くなります。
siteコマンド検索などで確認をしてインデックスから消えたら、すみやかにサイトマップファイルから削除します。
特定のページにいつ再クロールされるのかって？
気になるなら Fetch As Google を使うのも良いでしょう。
ページを修正して固有のコンテンツを掲載する
既存コンテンツの編集をしてインデックス最適化ができないか、考えてみましょう。
重複箇所が多く発生するようならば、それらのページを修正したり、1つにまとめたりすることもできます。
その方が、かえってページ自体の品質が上がり、SEOにプラスになるケースもあります。
似たようなコンテンツが多いWebサイトは、ユーザーにとっても親切ではありませんね。
そもそも noindex 等の設定をしなくて済むのなら、それが一番良い方法です。
インデックスされているかを確認する方法
どのページがインデックスされているのかを確認する簡単な方法は、siteコマンドでGoogle検索をしてみることです。
『 site:http://example.com/page1 』のように検索して検索結果が表示されれば、該当のページがインデックスされているかどうかを確認できます。
『 site:http://example.com 』のようにドメイン名や、『site:http://example.com/directoy/』のようにディレクトリを入力すれば、その配下でインデックスされているページをを確認することができます。
Google Search Console のインデックスステータスで、全体の状況を確認することもできます。
ページがインデックスされない時の対処法
インデックスがされていない時は、まずはインデックス最適化と逆のことをして対処をしましょう。noindex , canonical といった設定が間違っていないかを確認します。
自分で設定した覚えがなければ、システムやプラグイン側で気付かないまま設定していることも考えられるので、それらの設定も確認してみましょう。
クロールの状況を確認する
Google Search Console を確認して、クロール上の問題からインデックスされない状況が起きていない推測することができます。
クロールの統計情報、クロールエラー、ブロックされたリソース、といった項目を確認してみましょう。また、robots.txtでクローラーをブロックしてしまっていないかも確認しておきましょう。
クローラーによるレンダリングの状況を確認する
前回Webサイトにクローラーがやってきた時に、何らかの理由で正しくレンダリングができずに、インデックスに影響が出てしまうことがあります。
Fetch as Googleでレンダリングができているか確認をしましょう。正しく表示されているようであれば、再インデックスするはずなので少し様子を見てみます。
何らかのペナルティを受けていないか確認する
インデックスを適切に管理しているにも関わらず、インデックスされない場合には、ペナルティを受けている可能性があります。
Google Search Console の手動による対策を確認し、メッセージがないか確認しましょう。インデックスを削除するほどのペナルティは手動によるものです。
インデックスを管理するためのポイント
インデックスを適切に管理するには、当然ながら、Webサイト内のコンテンツについてきちんと把握しておかなければなりません。
「どんなページが存在するのかもうわからなくなっている、、、」
だと、対応が難しくなってしまいますね。
コンテンツのボリュームが増えるほど、インデックス最適化も煩雑になっていきますので、ページコンテンツを管理するメモをとっておくなどして、後々面倒にならないようあらかじめ準備をしておきましょう。
コメントをどうぞ