Google Search Consoleで「robots.txt によりブロックされましたが、インデックスに登録しました」と表示された時の解決方法について解説
「robots.txt によりブロックされましたが、インデックスに登録しました」と出るのはどのような時か
「robots.txtによりブロックされましたが、インデックスに登録しました」というエラーメッセージは、サイトでの検索エンジンのクロールに問題があると表示されます。つまり、このエラーに遭遇したら、Googleがクロールできないページをインデックスしていることを意味します。
「robots.txt によりブロックされましたが、インデックスに登録しました」と出る3つの要因
今回紹介する「robots.txt によりブロックされましたが、インデックスに登録しました」と出る要因は以下の3つになります。
- robots.txtに、クロールをブロックする設定がされている
- ページがサーバーに存在しない
- ページが重すぎてクローラがクロールできない
それぞれ詳しく解説していきます。
robots.txtに、クロールをブロックする設定がされている
ウェブサイトのオーナーが、robots.txt ファイルにクローラーのアクセスをブロックする設定を行った場合、このメッセージが表示されることがあります。robots.txt ファイルにより、特定のクローラーがページをクロールできないように制限されているため、検索エンジンのインデックスに登録されていないページがある可能性があります。
ページがサーバーに存在しない
もう一つの要因は、対象のページが実際にサーバー上に存在しない場合です。クローラーがウェブサイトをクロールする際に、該当のページが見つからず、存在しないと判断された場合、このメッセージが表示されることがあります。ページが削除された、URLが変更された、または一時的にアクセスできない状態にある可能性があります。
ページが重すぎてクローラがクロールできない
最後の要因は、ページが非常に重いため、クローラーが十分な時間やリソースを持ってクロールできない場合です。ページの読み込み時間が長い、コンテンツが大量である、またはサーバーの帯域幅が制限されている場合には、クローラーがページを完全にクロールすることができない可能性があります。その結果、「robots.txt によりブロックされましたが、インデックスに登録しました」というメッセージが表示されることがあります。
「robots.txt によりブロックされましたが、インデックスに登録しました」と出る時の解決策
robots.txtを確認して、クロールをブロックする設定がないか確認
まず最初に、ウェブサイトのルートディレクトリにある robots.txt ファイルを確認してください。ファイル内にクロールをブロックする設定があるかどうかを確認します。設定がある場合は、その設定を修正してクローラーのアクセスを許可するように変更します。具体的には、該当のクローラーに対する「Disallow」の設定を削除または修正し、クロールを許可するようにします。
ページがサーバーに存在するか確認
対象のページが実際にウェブサーバー上に存在するかどうかを確認してください。ページが存在しない場合、ウェブサーバーに該当のページをアップロードまたは再配置する必要があります。必要に応じて、ページのURLを更新して正しい場所にリダイレクトすることも検討してください。
ページが重すぎないか確認
また、対象のページが非常に重いため、クローラーがクロールするのに十分な時間やリソースを持っていない可能性も考えられます。ページの読み込み時間を最適化し、コンテンツや画像のサイズを最適化することで、ページの軽量化を図ります。また、ウェブサーバーのパフォーマンスを向上させるために、キャッシュや圧縮の設定を検討することも重要です。
まとめ
robots.txt ファイルにより「robots.txt によりブロックされましたが、インデックスに登録しました」というメッセージが表示される場合、記載の手段で解決を試みてください。ただし、必要に応じてウェブサイトの管理者や開発者に相談して専門的なサポートを受けることも重要です。適切な対策を講じることで、ウェブサイトのクローラビリティとインデックスへの登録を最適化することができます。
よくある質問
Q:robots.txt ファイルはどのように機能しますか？
A:robots.txt ファイルは、ウェブサイトのルートディレクトリに配置されるテキストファイルです。このファイルは、クローラーに対してアクセスを許可または制限するための指示を提供します。ウェブサイトのオーナーは、robots.txt ファイルを使用してクローラーがアクセスできるコンテンツやディレクトリを制御することができます。
Q:ウェブサイトに必ず robots.txt ファイルを配置する必要がありますか？
A:robots.txt ファイルは、ウェブサイトのセキュリティやクローラビリティを向上させるために推奨されるものですが、必ずしも配置する必要はありません。ウェブサイトに重要な機密情報が含まれている場合や、全てのコンテンツをクローラーに公開したくない場合には、適切な設定を行う必要があります。ただし、ウェブサイト全体をクロールしてインデックスに登録することを望む場合には、robots.txt ファイルを適切に設定することが重要です。
