网友杨先生反映，他近日发现，淘宝网已在网站根目录下的robots.txt文件中设置相关命令，禁止百度蜘蛛获取网页信息。
据悉，百度蜘蛛是百度用来抓取各网站内容的一套自动程序，屏蔽百度蜘蛛主要是不想被百度收录，或者担心抓取给服务器带来压力。（完）
