当前位置:首页 >> 互联网 >> 电子商务
声明:请百度不要再抓DoNews的Wiki
拜托百度,不要这样抓内容了。就算抓,也应该用1个线程来抓,只抓更新的内容,何必每天抓一次,而且用无数个线程,而且每次都要抓全部内容,还不放过任何wiki的历史页面,甚至连错误信息都要原样搬走。

        wiki.donews.com连续几天,定时被百度的抓取机器人抓到系统停止响应。

 

        拜托百度,不要这样抓内容了。就算抓,也应该用1个线程来抓,只抓更新的内容,何必每天抓一次,而且用无数个线程,而且每次都要抓全部内容,还不放过任何wiki的历史页面,甚至连错误信息都要原样搬走。

 

       这种抓取方法,谁受得了?

原文链接:http://blog.donews.com/virushuo/archive/2006/05/12/866456.aspx

责编: 徐新事 | RSS
收藏此页到365Key
  • 暂无评论
匿名评论
相关文章
摘要
wiki.donews.com连续几天,定时被百度的抓取机器人抓到系统停止响应。拜托百度,不要这样抓内容了。就算抓,也应该用1个线程来抓,只抓更新的内容,何必每天抓一次,而且用无数个线程,而且每次都要抓全部内容,还不放过任何wiki的历史页面,甚至连错误信息都要原样搬走。这种抓取方法,谁受得了
关键字
受得了 原样 搬走 定时 拜托 线程 机器人 页面 放过
相关企业
百度
相关人物
相关产品
相关网站
最新
焦点