クローラビリティとは、クローラーがWebページを認識（クロール）するときの認識のしやすさを指します。Webページはクローリングされることではじめて私たちが検索した時に検索結果に表示されます。
クローラビリティが高いWebページは頻繁にクロールされるので、検索エンジンに認識されやすくなります。その分Webページの情報がより正確に読み取られるので、結果的にSEO効果が高まります。
逆に、クローラビリティが悪いWebページは以下のような特徴を抱えていることが多いです。
- 内部リンクが少ない
- サーバーが弱い
- 低品質なページが多い
このような状態だと、例え高品質なページを作っても、リライトをしても、新規ページを作ってもクロールされることが減るので結果的にSEO効果が低くなります。高品質なページを作ってもクローラビリティが悪いせいでSEO効果が発揮できないのはもったいないですよね。
Webサイト運営者としては、このような事態は避けなくてはなりません。クローラビリティが低い要素があるのなら、改善してPVやCVRの向上に努める必要があります。
この記事では、クローラビリティを改善する方法を徹底解説します。なかなか慣れない単語が出てくるかもしれませんが、SEO初心者向けに詳しく解説するので、最後までチェックしてSEO対策に活かしてくださいね！
クローラーとは？
クローラーとは、Web上にあるページを収集するプログラムのことです。
Googleでは、クローラーによって収集されたページをデータベース化しています。検索エンジンにキーワードが入力されると、そのキーワードに応じた検索結果を表示します。
クローラーは、Googleにインデックス（登録）されているページを自動的に読み込みます。これを「クローリング」と呼びます。
クローリングされると、ページの情報が検索エンジンに認識されるようになって検索結果に表示されるようになります。逆に言えば、クローリングされていないと検索結果に表示されません。
Web運営者は、自分のサイトに含まれているページがクローリングされるために対策をしなければなりません。適切な対策ができればページがクロールされやすくなります。
この「クローリングのされやすさ」を「クローラビリティ」と言います。この記事では、クローラビリティを高める方法を具体的に紹介していきます。
クローラビリティを改善する方法7選
では実際に、クローラビリティを改善するための方法を紹介します。
- 高品質なページを作る
- URLを簡単なものにする
- XMLサイトマップを送信する
- 重複・類似コンテンツを無くす
- 被リンクとサイテーションを集める
- サーバーの性能を上げる
- GoogleサーチコンソールでURL検査をする
見慣れない単語は時々解説しながら紹介します。
高品質なページを作る
高品質なページとはすなわち、ユーザーの検索意図を捉えたページです。高品質なページはユーザーに良い影響をもたらすだけではなくクロールもされやすくなるので必ず対策しましょう。
ユーザーの検索意図を調べるための有効な方法は、ズバリ「対策キーワードで検索する」こと。例えば、「SEO対策 方法」で検索すると、どんな検索結果になるのでしょうか？
上記画像は「SEO対策 方法」で検索した場合の上位3ページの検索結果です。これら3ページの傾向を分析すると、以下のような傾向が見えてきます。
- SEO対策の基本的な知識を知りたい
- 上位表示に必要な方法を知りたい
- 大まかな対策方法を包括的に知りたい
- 専門用語もわかりやすく解説していると助かる
この分析結果から見るに「SEO対策 方法」で検索をするユーザーが知りたいことは上記の内容であることがわかります。これがユーザーの検索意図です。
このようにユーザーの検索意図を捉えたページ作りをすることで、おのずと高品質なページが出来上がります。高品質なページになると、クローラが巡回しやすくなるのでクローラビリティもアップします。
新しい情報を大量に追加した場合や、サイトに非常に有用な情報が掲載されている場合は、想定を上回ってクロールされてしまう可能性があります。
引用：クロールの統計情報レポート（ウェブサイト）-クロール頻度が上昇した理由 – Search Console ヘルプ
ユーザーの検索意図を捉えたコンテンツ作りをすることで頻繁にクロールされるようになり、SEO対策の効果アップにつながります。
ユーザーの検索意図を捉えたコンテンツ作りの方法は以下記事でも詳しく紹介しているので、是非参考にしてみてください！
URLを簡単なものにする
過度に複雑なURLは、クロールに悪影響を与えることがあります。できるだけシンプルなURL構造にすればクロールの際の負担を減らすことができるので、不必要な文字列で構成されたURLは避けましょう。
例えば記事のタイトルが「クローラビリティを改善してSEO対策に繋げよう！」だとしましょう。
- 良い例1：「https://zakki.blog/crawl-seo/」
- 良い例2：「https://zakki.blog/blog/9999/」
- 悪い例1：「https://zakki.blog/zp65zujnnbcy3jtfchma3b8nc6/」
- 悪い例2：「https://zakki.blog/crawl-better-search-engine-optimization/
良い例では記事の内容が端的に伝わるような構成になっています。また、IDを用いるのもクローラに負担をかけないので有効な手段と言えます。（当サイトではIDを用いています）
悪い例では、自動的に生成される文字列をそのまま使っていたり不必要に長い文字列を使ったりしています。これではクローラに負担がかかるため、クローラビリティの低下につながります。
サイトの URL 構造はできる限りシンプルにします。
（中略）
たとえば、航空機（aviation）に関する情報を探している場合、http://en.wikipedia.org/wiki/Aviation のような URL であれば、見ただけで必要な情報であるかどうかを判断できます。http://www.example.com/index.php?id_sezione=360&sid=3a5ebc944f41daa6f849f730f1 のような URL 自体は、ユーザーの関心を引くことはほとんどありません。
（中略）
過度に複雑な URL は、サイト上の同じまたは同様のコンテンツを表す多数の URL を不必要に作成し、クロールの際に問題が生じることがあります。
引用：シンプルな URL 構造を維持する – Search Console ヘルプ
URLの設定はつい見逃してしまいがちな項目ですが、クローラビリティを左右する重要なポイントです。
- ページの内容が簡潔に伝わるものにする
- 無駄に長いURLは避ける
上記2点を意識して、クローラビリティ向上に努めましょう！
XMLサイトマップを送信する
XMLサイトマップとは、検索エンジンにサイトの構成を伝えるためのファイルです。ちなみに、Google公式では以下のように定義されています。
サイトマップとは、サイト上のページや動画などのファイルについての情報や、各ファイルの関係を伝えるファイルです。Google などの検索エンジンは、このファイルを読み込んで、より高度なクロールを行います。
引用：サイトマップについて – Search Console ヘルプ
XMLサイトマップを作るなら「手動でコードを記述する」「ツールを使用する」の2通りがありますが、ツールを使用するのが圧倒的におすすめです。
おすすめのツールは「XML-sitemaps.com」です。WordPressを使っているのなら「Google XML Sitemaps」というプラグインを使えば簡単にXMLサイトマップの作成ができます。
XMLサイトマップの送信はGoogle search consoleからできるので、定期的にやっておきましょう。
重複しているURLを統合（正規化）する
ひとつのサイト内に重複したページが存在していると、クローラビリティの低下につながります。
お持ちのサイトにおいて、複数の URL で同じページにアクセスできる場合や、別個のページのコンテンツが類似している場合（たとえば、ページにモバイル版と PC 版の両方がある場合）、こうしたページは Google で同じページの重複と見なされます。これらの URL の 1 つが「正規」版として選択されてクロールされ、その他の URL はすべて「重複」URL と見なされてクロールの頻度が減ります。
引用：重複した URL を統合する – Search Console ヘルプ
重複によるクローラビリティの低下を防ぐためには、「URLの正規化」が必要です。
「正規化」とは、重複した複数のURLから代表となる一つのURLを選ぶことです。選んだURLは「正規URL」と呼ばれ、検索エンジンには「最も代表的なページ」と認識されます。
そこで最も効果的なのが「301リダイレクト」という方法です。301リダイレクトとは、任意のページから別のページへ自動的に転送させることを言います。
例えば、あるページが以下のように複数のURLでアクセスできる状態だとしましょう。
- https://zakki.blog/blog
- https://zakki.blog/9999
- https://www.zakki.blog/blog
上記3つの重複URLの中からひとつを正規URLとして選び、301リダイレクトを使って他のURLでアクセスしても自動的に正規URLに転送できるようにします。
301リダイレクトはクローラーに「正規URLはこれですよ！」と伝える役目も果たしているので、重複URLがあっても重複とみなされません。
301リダイレクトは、ユーザーや検索エンジンを正しいページに確実に誘導するのに最適な方法です。
引用：重複した URL を統合する – Search Console ヘルプ
このように、301リダイレクトはGoogleも推奨している方法なのでおすすめです！
被リンクを集める
より多くの被リンクを集めることはSEO効果の向上に繋がります。
Googleでは「被リンク」を「投票」のように考えています。つまり、より多くの投票数が集まればそのページは有益なページである、ということになります。
ページ間のリンクを「投票」と解釈し、どのサイトが他のページから最高の情報源として投票されているかを分析します。この手法なら、新しいサイトが増えるたびに情報源と投票数が増えるため、ウェブが拡大するにつれて効果も高まります。
引用：Googleが掲げる10の真実
被リンクを増やすには、SNSに自分のサイトのページを投稿しましょう。SNSユーザーが「これは有益な情報だ！」と判断したら、拡散されて多くの人の目に触れるようになります。
被リンクの数が増えることで「高品質なページ」と判断されるようになり、クローラビリティの向上に繋がります。
多くのサイトから高く評価されたページはGoogleからも評価されやすくなり、結果的に検索順位の向上も期待できます。
被リンク獲得のためには、ユーザーの検索意図を満たすコンテンツ作りを行ってSEO対策をすることが重要です！
サーバーの性能を上げる
サーバーの性能を上げればクローラーが巡回しやすくなります。
サーバーの性能を上げる方法は、「メモリやハードディスクの容量を増やす」「CPUのスペックを上げる」などです。そうすると、サーバーに余裕ができるためクローラーが巡回しやすくなってクローラビリティが向上します。
逆に、サーバーの性能が低いとサイトが重くなったりタイムアウトが起こったりします。そうなるとクローラビリティは下がり、検索順位も上がりません。
サイトの応答が遅くなった場合やサーバーエラーが返される場合、クロール速度の上限が下がり、Googlebot によるクロールが減ります。
引用元：Googlebot のクロール バジェットとは？｜Google ウェブマスター向け公式ブログ
サイトを運営していれば、ページ数や画像数が増加します。そうなるとサイト自体のサイズもみるみる大きくなり、サイトを立ち上げたときのサーバーでは負担がかかってしまいます。
「最近、サイトが重くなってきたな…」「若干検索順位落ちてるかも…」となった場合は、サーバーの性能が低い可能性があります。
GoogleサーチコンソールでURL検査をする
クローラーは本来、ページを公開したら自動的に巡回を始めますが、クローラビリティが悪いサイトだと、クロールされるまでに時間がかかります。
そんな時にクローリングをリクエストすることができます。それが「Googleサーチコンソール」の「URL検査」という機能です。
URL検査を行うと、本来自動でクロールされるページを「クロールしてよ！」とクローラーに伝えることができます。使い方は以下の通り。
【リクエスト前】
- 「インデックス登録をリクエスト」をクリックします。
- 「1~2分お待ちください」の表示になる
- 完了
【リクエスト後】
URL検査が完了すると、上記画像のように「インデックス登録をリクエスト済み」となります。
「URL検査」を使ってクローリングをリクエストすると、一時的にクロールされるようになります。
主に使うタイミングは、記事のリライト時です。更新した記事をすぐクローリングしてもらうためには、この「URL検査」が有効です。
ここで特に注意したいのが「ページそのもののクローラビリティが上がったわけではない」こと。あくまで一時的にクロールされるようになっただけなのでl、ページのクローラビリティが上がったわけではありません。クローラビリティを上げられる余地があるなら改善が必要です。
クローラビリティ改善は高品質なコンテンツありき
https://pixabay.com/ja/illustrations/%E3%83%89%E3%83%AB%E7%9B%B8%E5%A0%B4-%E4%B8%96%E7%95%8C%E7%B5%8C%E6%B8%88-%E3%83%96%E3%83%BC%E3%83%A0-544949/
この記事では、クローラビリティを改善する方法を7つ紹介しました。
- 高品質なページを作る
- URLを簡単なものにする
- XMLサイトマップを送信する
- 重複・類似コンテンツを無くす
- 被リンクとサイテーションを集める
- サーバーの性能を上げる
- GoogleサーチコンソールでURL検査をする
このようにクローラビリティを向上させれば検索結果により早く反映されるようになり、Googleからも高い評価を受けられます。結果として検索順位の向上に繋がり、SEO対策も成功させることができます。
ただし最も忘れてはいけないのは、これらのクローラビリティ改善策はすべて1項目目にもある通り「高品質なコンテンツありき」であるということ。
ユーザーの検索意図を満たしたコンテンツでなければ、いくらクローラー対策をしても高いSEO効果は得られません。
高品質なコンテンツを作った上でクローラー対策を行い、サイトの品質向上に努めましょう！
コメント