第1个回答 2013-08-15
1首先蜘蛛爬虫和网络爬虫是一个东西，这里的蜘蛛就是爬虫，
2蜘蛛爬虫其实是一段程序。一个自动提取网页的程序，它为搜索引擎从Internet网上下载网页，是搜索引擎的重要组成。这个程序的功能是，沿着你的网站的URL一层层的读取一些信息，做简单处理后，然后返馈给后台老板(服务器)进行集中处理。
3用处，过滤掉关键词堆砌的网站，比如imba dota为关键词，爬虫会收集所有目标网页上所有跟imba dota相关的内容，回馈关键词在这个页面上的密度（后台服务器），超过3-8%这个密度将被搜索引擎降序排列，更有甚者频繁堆砌的话将被搜索引擎处罚。类似于一个测试者的角色~跟其相关的还有SEO等概念，用于网络营销和推广中~本回答被网友采纳