ヒント
ヒント 1見る
まず /robots.txt にアクセスしてみましょう
ヒント 2見る
Disallow に指定されたパスを確認してください
ヒント 3見る
そのパスへ直接ブラウザでアクセスしてみましょう
チャレンジ一覧挑戦中
Web-04. robots.txtの落とし穴
Web-04. The robots.txt Trap
今回のミッション
Webサイトにはクローラー向けに robots.txt が置かれていることがあります。この問題では、robots.txt がクロール除外を指定しているファイルに実際にアクセスできるかどうかを確認します。