t_wの輪郭

　User-Agentを一般のコンピュータに偽装してクロールする輩が出てきたので、robot.txtで有力な検索エンジン以外を除外。

　「これも入れるべきだ」みたいなのがあればコメント求む。

robot.txtの中身

User-agent: *
Disallow: /

User-agent: Googlebot
User-agent: bingbot
User-agent: DuckDuckBot
Allow: /