搜索引擎爬虫程序一览表大全

作者:ym110 日期:2007-11-20

高强度爬虫程序
Baiduspider+(+http://www.baidu.com/search/spider.htm)
百度爬虫
高强度爬虫，有时会从多个IP地址启动多个爬虫程序！
由于算法问题，百度爬虫对相同页面会多次发出请求（尤其是首页），令人烦恼。

Tags: 搜索引擎搜索引擎爬虫爬虫

分类:其他杂记 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 834

禁止搜索引擎收录的方法

作者:ym110 日期:2007-04-12

什么是robots.txt文件?
搜索引擎通过一种程序robot（又称spider），自动访问互联网上的网页并获取网页信息。
您可以在您的网站中创建一个纯文本文件robots.txt，在这个文件中声明该网站中不想被robot访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜索引擎只收录指定的内容。

Tags: 搜索引擎搜索引擎