Googleからのクロール頻度を促進して、インデックスされない問題を解決する

よこのじ(@yokonoji_work)です。

SEO対策により検索順位を上げる以前の問題として、新しい記事がインデックスされないということにお困りではないですか?クロール頻度を上げることは、早くページの評価をもらったり、適切な順位で表示されるようになるために必要ですので、クロールを促すためにできることを確認してみましょう。

クローラーの巡回回数を確認する

あなたのサイトにどのくらいの頻度でクローラーが巡回しに来ているのかは重要です。記事が検索結果にインデックスされて適切な順位に位置するためには、Googleのクローラーにページを確認してもらう必要がありますので、まずはどのくらいクロールされているのか現状を確認してみましょう。

クローラーの巡回回数の確認はGoogle Search Consoleで行えます。Search Consoleの旧バージョンにて「クロール -> クロールの統計情報」と進むと、「1日あたりのクロールされたページ数」が確認できます。

1日あたりのクロールされたページ数

この記事を書いている時点で総記事数は94で、最新のクロール回数は374となっています。

クロール回数がいくらあれば良いと言うことはできません。しかし、サイトの拡大に応じて上昇するのが普通ですので、記事などのコンテンツ追加状況とクロール数推移を分析することは必要です。

  • クロール頻度が低下する理由には、ページ表示速度が遅い、サイトの更新頻度が低い、サイトの品質が高くない、といったものがあります。
  • クロール頻度が上昇する理由には、新しい情報が追加された、サイトに有用な情報が掲載されている、といったものがあります。

参考:クロールの統計情報レポート(ウェブサイト) 

その他の2つのグラフ「1日にダウンロードされるキロバイト(KB)数」「ページのダウンロード時間(ミリ秒)」の数値が大きいことは、クローラーが離脱してクロール頻度が下がる原因になります。PageSpeed Insightsなどの表示速度を確認できるサービスで表示速度に影響する項目がないか確認してください。

ページのダウンロード時間

11/23はダウンロードされたキロバイト数が大きく上昇していますね。この日は「素人がPythonでWebスクレイピングを実装する8」の記事を書くためにこのサイトに対してWebスクレイピングを何度も行ったのですが、そのせいでしょうか?もしこのような状況が続いていることを確認したのであれば、原因を突き止めて解決する必要があります。

クローラーの巡回を促す方法

先ほどご紹介したように、Webサイトの更新頻度を高くして質の高いコンテンツを掲載することは、クローラーの巡回を促す最も効果的な方法と言えます。しかし、これらは継続することや敏感に情報を追いかけてライティングスキルをもって分かりやすく記事を書く努力が必要なことです。避けては通れないので、じっくり取り組んでほしいところです。よって、今回はもう少し技術的、テクニック的な方法をご紹介します。

これらの方法で、記事の投稿から5~10分後には検索結果に表示されるようになりました!

SNSへの投稿

Twitterやはてなブックマークを利用して拡散すれば、多くの方がWebサイトにアクセスしてくれます。しかし、メリットはそれだけではありません。Googleで「Twitter よこのじ」のように自分のTwitterアカウントを検索してみてください。そうすると、自分のツイートが検索に引っかかります。

インデックスされているということは、リンク経路ができてツイートで紹介した記事をクローラーが巡回しやすくなることが期待できますし、ツイートが検索に引っかかることで人のアクセスの経路も増えます。

GoogleはTwitterと提携しており、Firehose(ファイヤーホース)と呼ばれるデータベースからツイート情報を取得しています。ツイートのリンクにはnofollowが付いていますが、Googleはツイートからのリンクも検索順位に影響を与えるとしていますので、SNSは積極的に利用したいですね。

参考:TwitterやFacebookは順位に影響する?

XMLサイトマップの送信とRSSフィードの配信

Google XML Sitemapsの設定とGoogle Search Consoleとの連携」でご紹介したサイトマップは、サイトの更新情報をクローラーに伝えるためのものです。このサイトマップと合わせて、RSSフィードも利用することをGoogleは推奨しています。

これには理由があります。

  • XMLサイトマップは、サイト全体のURLを記述しているためデータサイズが大きく、クローラーによるダウンロード頻度が低くなる。
  • 一方、RSSフィードは、最新の更新数件だけしか含まれないが、データサイズが小さく頻繁にクロールされる。

参考:Best practices for XML sitemaps & RSS/Atom feeds

よって、サイトマップの送信とRSSフィードの配信の両方を行うことが、クロールを最適化することにつながります。RSSフィードはSearch Consoleの旧バージョンにてXMLサイトマップと同じように登録します。

サイトマップRSS

WordPressであれば、次のような形式のURLでRSSフィードにアクセスできます。

http://example.com/?feed=rss
http://example.com/?feed=rss2
http://example.com/?feed=rdf
http://example.com/?feed=atom

http://example.com/feed/
http://example.com/feed/rss/
http://example.com/feed/rss2/
http://example.com/feed/rdf/
http://example.com/feed/atom/

WordPress フィード配信

また、サイトの更新をできる限り早く知らせるためにWordPressには「WebSub/PubSubHubbub」というプラグインがあります。これはGoogleも推奨する方法で、RSSフィードをできる限り早くクローラーに伝えることができますので、ぜひインストールしてください(有効化するだけで使えます)。

余談ですが、Googleはサイトマップに含まれる最も重要な2つの情報として、URLとその最終更新日時を挙げています。記事が新鮮な情報で書かれていることをチェックしているのでしょうから、定期的に内容は見直したいですね。

Fetch as Googleを使う

Fetch as Googleを使うと、Googleのクローラーに対してクロールが可能かどうかのチェックを直接依頼することができます。そのため、かなり早くクロールしてもらえます。

Fetch as Googleは、Search Consoleの旧バージョンにて「クロール -> Fetch as Google」と進むことで実施することができます。

サイトを立ち上げて間もない頃は記事間のリンクや被リンクがほとんどなく、自然にクロールされることが難しいので、記事を追加するたびにFetch as Googleを使うべきかと思います。

通常1日以内にクロールは実施されますが、自然にクロールされたときと同様のページ評価が行われるため、検索結果にインデックスされるかどうかはコンテンツの質次第という点にご注意ください。

参考:Fetch as Googlebot ツールを使って Google へ URL の送信が可能になりました。

他のサイトからのリンク(被リンク)

クローラーはリンクをたどりながらページを評価していきますので、あなたの記事が別のサイトからリンクしてもらえていると、クローラーがあなたのサイトにやってきてその他の記事もクロールしてくれます。

何らかのサービスのプロフィール欄にURLを記載して被リンクを得るのは一つの手でしょう。また、TwitterなどのSNSに投稿することも被リンクを得る方法のひとつですが、ブログランキングサイトに掲載する方法を試してもらいたいと思います。

意味のないページからの不自然かつ多数のリンクは、SEO的なペナルティを受ける可能性があるため、自身のサイトへのリンクを貼ることは、通常のサービス利用範囲内で検討してください。

ブログランキングサイトは今やそれほど活発なものではありませんし、ブログランキングサイトをベースとして記事を探すなんて人もいないでしょうから、人のアクセスが増えることは期待できません。

しかしながら、ブログランキングサイトからの被リンクを得て少しでもクロールを促せたらいい、というわずかながらの効果は期待できるかもしれません。上記3つの方法は必ず取り組んでほしい内容ですが、この方法についてはおまけ程度かと思っています。

本サイトは「にほんブログ村」に登録しています。

ブログ順位

記事を書いている時点ではランキング2位でクローラーから見やすい順位に付けています。また、ブログランキング内にはプロフィールページがあり、そこで最新の記事が公開されているため被リンクを得ています。ここから本サイトにクローラーが入ってくることが期待できます。

このように、ブログランキングサイトの機能を利用すると、自然な形(通常のサービス利用)で被リンクを得ることができます。先ほど述べたように人のアクセスは期待できませんが、クローラーを呼び込むという意味ではわずかながら貢献してくれる方法だと思います。

 

SEO対策は簡単に思えますが、やることが多く知れば知るほど奥が深いです。「初心者がSEO対策の基本を学ぶためのサイトを集めました」では基礎情報が網羅されているサイトを紹介していますので、ご一読ください。

 

“高いSEO効果”がある被リンクを獲得するための完全ガイドです。合わせてご確認ください。
関連:リンクビルディング SEOに効果的な被リンクを増やす方法