GoogleやBingなどの検索エンジンがあなたのウェブサイトをクロールできるようにRobots.txtが設定されているか確認することができます。意図的にクロールできないように設定しているページであれば問題ないですがそうでない場合Robots.txtの修正が必要になります。
