[Date Prev][Date Next][Thread Prev][Thread Next][Date Index][Thread Index]

(DTPtechNote:93) robotsについて。



こちらのサイト内のコンテンツがロボット系検索エンジンに登録されて
いますが、流浪のページなためリンクをクリックしてもアクセス不能です(笑)。
ちなみに、ルートディレクトリの.robots.txtに
User-Agent: * 
Disallow: /
と書けば、お行儀の良いロボットは登録しなくなります。