CSS および JS ファイルに Googlebot がアクセスできません
昨日、Google Search Consoleから、こんなメールが届きました。
ちょっと焦りましたが、なんとか修正しました。
CSS および JS ファイルに Googlebot がアクセスできません
Google Search Consoleから届いたメールの中身は以下の通りです。
http://xxxx/ の CSS および JS ファイルに Googlebot がアクセスできません
http://xxxx/ のウェブマスター様
Google のアルゴリズムによるコンテンツのレンダリングとインデックス登録に影響を及ぼす問題が貴サイトで発生していることが Google のシステムにより判明しました。具体的には、robots.txt ファイルでの制限のために Googlebot が JavaScript や CSS ファイルにアクセスできません。Google では、これらのファイルによりウェブサイトが正常に機能していることを認識するため、これらのアセットへのアクセスをブロックすると検索結果における掲載順位が本来よりも低くなる可能性があります。
修正方法
- ブロックされているリソースを特定する
「Fetch as Google」機能を使用して、robots.txt のディレクティブがブロックしているリソースを特定します。
Fetch as Google - robots.txt ファイルを更新する
サイトの CSS や JavaScript ファイルの制限を robots.txt のディレクティブから削除し、robots.txt テスターで変更をテストします。次に、変更した robots.txt ファイルをサイトで更新し、そのファイルを Search Console に送信します。
robots.txt をテスト - 「Fetch as Google」を使用して修正を検証する
[モバイル: スマートフォン] オプションを選択して、ページを取得してレンダリングし、スマートフォン用の Googlebot が正常にコンテンツをレンダリングすることを再度チェックします。
Fetch as Google
この修正方法についてご不明な点がある場合は、以下をご確認ください。
• ヘルプセンターの robots.txt ファイルをテストする方法についての記事
• モバイル フレンドリー サイトの作成に関する Google ガイド
• どのクローラがどのファイルにアクセスできるかを管理する方法については、robots.txt の仕様をご覧ください。
• robots メタタグまたは X-robots-tag HTTP ヘッダーを使用すると、ページが Google のインデックス登録されないようにできます。
• サポートが必要な場合は、プロダクト フォーラムに質問を投稿してください。その際はメッセージ タイプ [WNC-658001] の件である旨をお知らせください。
調査してみると、
WordPressでサイト構築している人で、
かつrobots.txtに以下の記述を行っている人
にはこのメールが届きやすいようです。
1 2 |
Disallow: /wp-admin/ Disallow: /wp-includes/ |
robots.txtにある、この2行は不要です。
このエラーの対応策
私の場合、ドメインルートの直下に
/var/www/wordpress/robots.txt
を作成して
1 2 3 4 5 |
User-agent: * #Disallow: /wp-admin/ #Disallow: /wp-includes/ Sitemap: http://xxxx/sitemap.xml |
のように、Disallowのところをコメントアウトしました。
この後、Google Search Consoleにログインします。
Google Search Consoleの「robots.txtテスター」を開いて、「送信」を押します。
1. 更新されたコードをダウンロード
更新された robots.txt をエディタからダウンロードします
2. アップロードされたバージョンを確認
更新された robots.txt をドメインのルートにアップロードし、更新された robots.txt が Google に使用してもらいたいバージョンであることを確認します。
3. Google に更新をリクエスト
robots.txt ファイルが更新されたことを Google に知らせるリクエストを送信します。
この後、再度、「robots.txtテスター」を開いてDisableのところがコメントアウトされていることを確認します。
これで完了です。
念のために「テスト」を押してGooglebotがブロックされていないことを確認します。
まとめ
いかがでしたでしょうか?
Googleから警告メッセージが届くとビクッとしますが、このメールは品質ガイドラインに違反したときに与えられる手動対策(ペナルティ)ではないので、実は無視してもあまり影響はなさそうです。
ちなみに、robots.txtにある以下の2行は、一時期、このようにした方がよいとのウワサがあってみんなそのようにしているだけです。
1 2 |
Disallow: /wp-admin/ Disallow: /wp-includes/ |
これは今は意味がないので削除してよいです。
Google についてのおすすめ本
↓Googleについてのおすすめの本はコチラ
コメント