サクラサク

「送信されたURLのクロールに問題があります」サーチコンソールのエラー対処法

2024年6月25日

ねぎお社長 (根岸雅之)

運営しているWebサイトについて、Googleから「『インデックス カバレッジ』の問題が新たに検出されました」というメールが届くことがあるでしょう。Googleは、クローラーが発見したWebページの情報を順次データベースに格納(インデックス)していきます。何らかの問題によりインデックスに失敗すると、そのWebページはGoogle検索結果に表示されません。SEO的にはページが存在していないのと同義ともいえるので、早急な対処が必要です。

「送信されたURLのクロールに問題があります」は、インデックスエラー(『インデックスカバレッジ』の問題)の一種です。このエラーが生じるケースと対処法について、解説します。

「送信されたURLのクロールに問題があります」エラーとは

サーチコンソールのインデックスカバレッジレポート(画面左のメニュー「インデックス」>「カバレッジ」)には、Webサイトのインデックス状況が表示されます。

インデックスされない原因となった各エラーがリストアップされていますが、「送信されたURLのクロールに問題があります」もインデックスされない理由の1つです。

とはいえ、これまでGoogleはインデックスされない理由を正確に把握もしくはレポートできておらず、詳細は個々のページを調査する必要がありました。

ところが、2021年初頭のカバレッジレポート改善のタイミングで、「送信されたURLのクロールに問題があります」に該当するエラーが激減しました。

「送信されたURLのクロールに問題があります」エラーとは

おそらく以下の改善によるものだと考えられます。

Removal of the generic “crawl anomaly” issue type – all crawls errors should now be mapped to an issue with a finer resolution.
(訳:クロールエラータイプを除外し、全てのクロールエラーはより明確なエラーに割り当てられます。)
Google検索セントラルブログ

 

今後該当するエラー項目がなくなる可能性がありますが、備忘録としてこの記事で対応方法について解説します。

「送信されたURLのクロールに問題があります」エラーの原因

「送信されたURLのクロールに問題があります」に割り振られるのは、何らかの原因があるものの、インデックスされない理由を正確に把握もしくはレポートできないものがこのメッセージに割り振られているのだと考えます。

インデックスされなかった理由は以下のようなものが考えられます。

・サーバーエラー(5xx)
・リダイレクトエラー(リダイレクトチェーンなど)
・robots.txtによりブロックされている
・noindexが挿入されている
・404ページである
・404以外の4xxページである
・ソフト404である
・一時的なサーバーエラーなど、後追いができないもの

「クロールに問題があります」というメッセージだけではどのような理由であるかがわからないため、個別に調べる必要があります。

なお、「送信されたURLが(に)……」の各エラーは、当該URLをGoogleにインデックスしてほしいURLとしてサイトマップ(sitemap.xml)にて送信しているにもかかわらず、何らかの理由でインデックスできなかったことを示しています。
後述する確認作業に並行して、これらのURLがインデックスさせるべきURLであるかを確認し、そうでないのであればサイトマップから除外するようにしましょう。

(参考:インデックスカバレッジレポートの見方とエラーや除外への対処法

「送信されたURLのクロールに問題があります」エラーの対処法

「送信されたURLのクロールに問題があります」に割り振られるエラーの原因は前述した通りで一概にはいえません。原因特定が難しいケースも存在しますが、まずは、エラーが検出されたURLをひとつひとつ調査することをおすすめします。

エラー対象のURLを確認する

インデックスカバレッジレポートの画面下部に表示される検出メッセージをクリックすると、エラー対象のURLが表示されます。

エラー対象のURLを確認する

対処法① 目視確認

ページの目視を行いながらソースコードやステータスコードを確認します。

・ページのレンダリング状態におかしなところはないか
・ページにnoindexは挿入されていないか(ソースコードやHTTPヘッダーを確認)
・ステータスコードは正常か(デベロッパーツールやステータスコード確認ツールを使用)
・robots.txtによってブロックされていないか(robots.txtテスターを使用)

参考
デベロッパーツールを使用したHTTPヘッダーの確認方法
robots.txtテスターの使い方・注意点を解説

対処法② URL検査ツールでページをデバッグ(公開URLのテスト)し、原因を調べる

サーチコンソールの画面上部にあるURL検査ツールにURLを入力して、対象URLの以下のような点を確認しましょう。
• JavaScriptのコンソールメッセージにエラーは表示されていないか
• 読み込めなかったリソースの中にrobots.txtでブロックしているファイルやページはないか
• HTMLソースやスクリーンショットにおかしな点はないか

(参考:URL検査ツール(旧:Fetch as Google)とは?初心者でも分かる簡単な使い方

対処法③ Webサーバーのアクセスログ、エラーログを精査する

可能ならばWebサーバーのアクセスログやエラーログを閲覧し、エラー対象のURLがクロールされたときにどんな挙動をしているか精査します。
特に、ステータスコードを確認するとよいでしょう。

不具合を解消したら、Googleに再クロールを依頼する

エラー対象の原因がわかって、全ページの不具合を解消できたら、「修正を検証」をクリックし、Googleに検証(再クロール)を依頼します。

修正を検証

参考:インデックスカバレッジレポートの見方とエラーや除外への対処法

まとめ

「送信されたURLのクロールに問題があります」エラーはカバレッジレポートの改善が行われた2021年現在、すでに減少している(もしくは出なくなっている)可能性があります。

以前このエラーが出ていたサイトは何かしらのインデックスエラーが発生していることに変わりはありませんので、デバッグ・改善する必要があります。

執筆者 / 監修者

サクラサクマーケティング
株式会社

取締役 社長

ねぎお社長 (根岸雅之)

ねぎお社長 (根岸雅之)イラスト

サクラサクマーケティング株式会社 取締役社長 COO

1980年生まれ 大学卒業後、一貫して、広告・マーケティング業界に身を置く。2006年にSEM コンサルタントとして、インターネット総合代理店、株式会社オプトに入社。リスティング、ディスプレイ広告の運用から、SEOの施策提案など主にキーワードマーケティング領域に特化した業務に従事。同年10月に株式会社ブルトア(現サクラサクマーケティング株式会社)に転職。入社後は、営業をはじめ、SEOコンサルティング、新規事業開発、自社マーケ、人事、財務と幅広い領域を経験し、営業部長、執行役員、取締役と経て、2015 年に社名変更とともに取締役社長に就任。

SEOコンサルタントとして大規模サイトから新規サイトまで、売上向上に繋がるコンサルティングを武器に200サイト以上の実績。2023年には『なぜほとんどコンテンツマーケティングは失敗に終わるのか?』を執筆。ねぎお社長のSEOチャンネルをはじめ、YouTube、メルマガ、SNを通じて積極的に情報発信。

◇ 出版書籍

◇ 情報発信

◇ 掲載メディア

◇ 共催セミナー歴

  • オウンドメディアの成功事例とSEOを支える運用型広告の活用
  • 今日から始められるWebマーケティング~コンテンツマーケティングとGoogle マイビジネス~
  • GMO TECH × サクラサク共催セミナー~テクニカルSEOとコンテンツマーケ~
  • リモート環境下においても売上・利益が成長し続ける組織創りと営業戦略

関連記事

ブログ一覧

あっ!と思ったら
サクラサク
ご相談ください

まずは無料相談へのお申し込みがおすすめです。ベテランコンサルタントが直接対応いたします。

お電話でご相談の方はこちら

03-5776-2775

03-5776-2775

SEO・記事制作なら、
サクラサクにお任せください!

ご相談こちら
×