Web-04. robots.txtの落とし穴

Web-04. The robots.txt Trap

今回のミッション

Webサイトにはクローラー向けに robots.txt が置かれていることがあります。この問題では、robots.txt がクロール除外を指定しているファイルに実際にアクセスできるかどうかを確認します。