KLSH-PageGetについて - ＷＥＢマスターのための情報
登録サイトの存在チェックし、リンク切れの確認を行うため、クローラを起動しています。
本クローラの、robots.txtの対応について
本クローラでは、拒否設定のみ有効です。
１．User-agent:は、* または KLSH のみです。
具体的には
User-agent: *
User-agent: KLSH
と、１行で記述する必要があります。
２．Disallow:は、パスのみで、*.doc *.gifは、使用できません。
具体的には
Disallow: /
Disallow: /images
と、１行で記述する必要があります。
