クローリング最適化

SEO対策の手順と全体像

SEO対策（３）クローリング最適化

数々の良質なコンテンツを作成しても、それをGoogleに見つけてもらわないことには意味がない。そして、クローラーの回遊を促すことでそれを解決することができる。クローラーとは、リンクをたどりウェブサイトを自動的に検出してスキャンするプログラム（ロボット）のことだ。これから、あなたの作成したコンテンツをクローラーに見つけてもらうための、クローリング最適化について解説していく。とても簡単な設定ばかりだから安心して読み進めてほしい。

3−1.XMLサイトマップを送信する

XMLサイトマップとは、あなたのサイトにどのようなページがあるのかを検索エンジンに伝えるためのものだ。XMLサイトマップの送信には2つのメリットがある。

検索エンジンが通常のクロール処理では検出できないページを知らせることができる

新しいページの存在をより早くクローラに認知してもらえる

つまり、Googleにいち早くそして漏れなくあなたのサイトのことを知ってもらうことができる。

XMLサイトマップを送信するまでの大まかな手順は以下の通りだ。

「Google XML Sitemaps」を使用してXMLサイトマップを作成する

「Google Search Console」を使用してXMLサイトマップを送信する

様々なXMLサイトマップ作成ツールがあるが「Google XML Sitemaps」がおすすめだ。私たちも普段から使用しているし、何よりも綺麗なソースを吐き出してくれる。具体的な進め方は「Google XML Sitemapsの設定方法」で解説しているから一読してほしい。

※注意1
「All in One SEO Pack」を取り入れているユーザーも多いことだろう。実は「All in One SEO Pack」の機能の1つにXMLサイトマップの設定がある。サイトマップ作成の機能を持つプラグインを複数使用すると、なんらかの不具合を起こす可能性が高い。
「All in One SEO Pack」のサイトマップ設定を無効化し「Google XML Sitemaps」でXMLサイトマップを作成するなど、それぞれのプラグインの役割に重複が発生しないよう気をつけよう。

※注意2
実は、サイトマップには「HTMLサイトマップ」と「XMLサイトマップ」の2種類がある。それぞれ以下のように整理できる。

HTMLサイトマップ：ユーザビリティ向上のため

XMLサイトマップ：クローラビリティ向上のため

今回はクローラビリティ向上を目的としたXMLサイトマップを紹介したが、HTMLサイトマップの作成も大切だ。

3−2.URL検査ツールを利用する

URL検査ツールとは、Google Search Consoleの機能のことだ。この機能を使うことでインデックス登録されたページの情報（エラーや現在のステータス）を把握することができる。そして、URL検査ツールを利用することでクロール依頼をすることができる。個別のページのエラー改善やページの修正などを行った際に利用しよう。

検査ツール やり方はとても簡単だ。Google Search Consoleにログインすると、左側に「URL検査」と表示される。そこから個別のページURLを入力し、「インデックス登録リクエスト」を選択するだけだ。これによってクロール依頼ができる。 この方法はあくまでも個別ページのクロール依頼で対応すべきだ。多くのページのクロール依頼はサイトマップを送信して対応しよう。

※注意
旧バージョンのGoogle Search Consoleで利用されていた「Fetch as Google」はすでに廃止され、「URL検査ツール」が機能を受け継いでいる。

3−3.手持ちのサイトからリンクを貼る

会社のホームページや、その他の関連性のある手持ちのサイトからリンクを貼ろう。クローラーの巡回を促す手段としては効果的だ。
ただし、注意点が2つある。

ペナルティを受けている手持ちサイトからのリンクは避ける

関連性のないサイトからのリンクは避ける

いくら手持ちサイトが多いからといってむやみにリンクを貼るのは厳禁だ。あくまでもそのサイトに関連する役立つサイトのリンクだけを貼ることに徹しよう。また、特定のサイトにリンクを集中させる目的でサテライトサイトを活用すると、誘導ページとみなされる可能性がある。
ウェブマスターの方々の中には、サイトのコンテンツを 1 つのドメインに集めメインのサイトとしつつ、それとは別に複数の小さなサイトを作成し、メインのサイトにリンクを集中させている方がいらっしゃいます。場合によっては、これらのサイトは 誘導ページ（ドアウェイ ページ） とみなされ、ウェブマスター向けガイドライン に違反する可能性があります（いわゆる「サテライトサイト」の中にも、誘導ページにあたるものが多くあります。）。

引用：複数のサイトを運営する皆さまへ
むやみにリンクを貼る行為は避け、ユーザーにとって関連性の高い意味のあるページだけを対象としてリンクを貼ろう。

3−4.3クリック以内に全ページへアクセスできるようにする

3クリック以内に全ページでアクセスできるようなサイト構造にしよう。こうすることでクローラーが隅々まで回遊しやすくなる。ユーザーにとっても、それぞれのページにアクセスしやすくなるためとても有益だ。Webサイトは通常以下のような構造になっているはずだ。 ページ この構造を忠実に守ってサイトを構築しているのであれば、ほとんどのwebサイトは3クリック以内に全ページへアクセスできるはずだ。

※注意
これまで私たちは2クリック以内に全ページにアクセスできるのが理想だとお伝えしてきた。ただし、多くのページを持つwebサイトでそれは現実的ではない。目指すべきは2クリック以内だが、少なくとも3クリックで全ページにアクセスできるような構造を目指そう。

3−5.ナビゲーションメニューをテキストで設定する

サイトのナビゲーションメニューを画像で設定しているサイトが多いがおすすめしない。
なぜなら、現状では画像リンクよりもテキストリンクの方がクローラーの回遊性が高いとされているからだ。ナビゲーションメニューは極力CSSでデザインし、テキストリンクで設定するよう心がけよう。Googleのウェブマスター向けビデオでも、「テキストのほうがGoogleにとってのヒントになり得る」と語られている。ナビゲーションメニューは必ずテキストで設定しよう。

3−6.URLの正規化

URLの正規化はクロール最適化でとても重要だ。なぜなら、ページの評価が分散してしまうリスクを回避できるからだ。複数のURLから同一ページにアクセスできる場合があるが、これではGoogleはどのURLを正規のものとして扱って良いかわからない。これによって評価が分散してしまうことがあるし、重複コンテンツとみなされる可能性もある。これらのリスクを回避するために、正規のURLを指定することが大切だ。

URLを正規化する方法は4つある。

rel=”canonical” リンクタグを使用する

rel=”canonical” HTTP ヘッダーを使用する

サイトマップを使用する

廃止する URL に 301 リダイレクトを使用する

「重複したURLを統合する」でGoogleがやり方を解説している。ぜひ目を通して設定を進めよう。

※注意
以前はGoogle Search ConsoleでWWW有無の表示を設定することができた。ところが、2019年6月をもってGoogleはこの設定を廃止することを発表した。現状、Googleが公式で推奨しているURL正規化の方法は上記で紹介した4つのみだ。

3−7.アンカーテキストはリンク先のページの内容が簡潔に分かるように設定する

アンカーテキストとは、リンクを設定したテキストのことだ。以下の図の場合、青字になっている「検索エンジンの仕組み」「Googleのアルゴリズム」の部分がアンカーテキストだ。

検索エンジンの仕組み
アンカーテキストは、検索エンジンに「リンク先がどのようなページか」を伝える役割を持つ。（当然だが、ユーザー対しても同様の役割を持つ）だからこそ、リンク先のページがどのようなページなのかを簡潔にテキストで設定する必要がある。以下のパターンであれば3つ目が理想的な設定だ。

詳しくはこちらを読んでください

詳しくはhttps://~~~を読んでください

詳しくは「検索エンジンの仕組み」を読んでください

リンク先がどのようなページかわからないテキストの設定や、URLをそのまま貼り付けることは避けよう。

アンカーテキストでSEO効果を高めるための方法は「アンカーテキスト最適化でSEO効果を高める３つのポイント」で詳しく解説しているので一読することをおすすめする。また、リンクそのものの使い方がSEOに影響を及ぼすため、併せて「サイトのSEO効果を高めるリンクタグの使い方」も一読してほしい。

3−8.クロールが不要なページはrobots.txtで指定する

robots.txtとは検索エンジンのクローリングをブロックできる機能のことだ。価値の低いページへのクローリングをブロックすることで、それ以外の価値の高いページへのクローリングを最適化できる。robots.txtを利用して、クローリングをブロックすべきページは2つある。

ユーザーにとって価値のないページ

広告リンク先のページ

サイト運営者は前者の「ユーザーにとって価値のないページ」だけを考えれば良い。「広告リンク先のページ」は、広告ASPを運用している会社やプレスリリースの配信会社が行うべきものだからだ。検索エンジンを利用するユーザーにとって価値のないページがあなたのサイトに存在するのであれば、robots.txtでクローリングをブロックしよう。クローリングを最適化することができれば、より良いSEO効果が期待できる。
なお、robots.txtの扱い方を誤ってしまうと、大きなマイナスを生む可能性がある。重要なページのクローリングも制御してしまう可能性があるからだ。

※注意
クロールバジェットの観点から、robots.txtの活用は大切だと言われて続けてきたが、実はほとんどのwebサイトでは設定が不要だ。クロールバジェットとは、「クローラーがサイトに1度訪れた時に訪問するページ数」としてよく語られている概念だ。
Googleはクロールバジェットについて以下のように語っている
ほとんどのWebサイト運営者はクロールバジェットについて気にする必要はない。数千以下のURL数しか持たないサイトでは、ほとんどの場合クロールは効率的に行われている。つまり、数千にも満たないページ数のサイトであればあえてrobots.txtを設定する必要がないということだ。大規模なECサイトやニュースサイトなどは設定すべきだろう。

参考：Googlebot のクロール バジェットとは？
また、大規模なサイトがrobots.txtを使うべき代表的な場面には以下のようなものがある。

クロールによってサーバーがダウンしてしまう可能性がある場合
頻繁なクローリングによってサーバーがダウンすると、ユーザー体験を損ねてしまう可能性がある。その場合はクローリングを制御してサーバーの安定性を保つべきだ。

サイト内検索の結果ページをクロールさせたくない場合
ユーザーがサイト内検索をするたびに新しいURLが生成されてしまう可能性がある。これにより、本来クロールされるべきページがクロールされなかったり、サーバーへの負荷が高まってしまうなどのデメリットがある。
そのほか、404エラーページや自動生成ページへのクローリングを制御すべきなど、あらゆる利用シーンがある。いずれにしても、ユーザーの利便性を損ねる可能性がある大規模なサイトはrobots.txtを活用すべきだろう。