按照现在网络上所有的Sprider的作用及表现出来的特征，可以将其分为三大类：批量型Sprider、增量型Sprider和垂直型Sprider。
1.批量型Sprider
一般具有明显的抓取范围和目标，设置抓取时间的限制，抓取数据量的限制，或抓取固定范围内的页面限制等。当Sprider达到预先设置的作业目标工作
就会停止，普通站长和seo人员用的采集工具或程序，所派出的sprider大都属于批量型sprider，一般只抓取固定网站的固定内容，或者设置对某
一资源的固定目标数据量，当抓取的数据或时间达到设置限制后就会自定停止，这种sprider就是很典型的批量型sprider。
2，增量型Sprider
增量型Sprider也可以称之为通用爬虫。一般可以称为搜索引擎的网站或程序，使用的都是增量型sprider，但是站内搜索引擎除外，自由站内搜
索引擎一般是不需要sprider的。增量型sprider和批量型sprider不同，没有固定目标、范围和时间限制，一般是会无休止的抓取下去，直到
把全网的数据抓完为止。增量型sprider不仅仅抓取尽可能全的页面，还要对已经抓取到的页面进行相应的再次抓取和更新，因为整个互联网是在不断变化
的，单个网页上的内容可能会随着时间的变化不断更新，甚至在一段时间之后该页面会被删除，优秀的增量型蜘蛛需要及时发现这种变化，并反映给搜索引擎后续的
处理系统，对该网页进行重新处理。当下百度，google网页搜索等全文搜索引擎的sprider，一般都是增量型sprider。
3，垂直型Sprider
垂直型蜘蛛也可以称之为聚焦爬虫，只对特定主题、特定内容或特定行业的网页进行抓取，一般都会聚焦在某一个限制范围内进行增量型的抓取。对此类型的
sprider不像增量型sprider一样追求大而广的覆盖面，而是在增量型sprider上增加一个抓取网页的限制，根据需求抓取含有目标内容的网
页，不符合要求的网页会直接被放弃抓取。对于网页级别纯文本内容方面的识别，现在的搜索引擎sprider还不能百分之百地进行准确分类，并且垂直型
sprider也不能像增量型sprider那样进行全互联网爬取，因为那样太浪费资源。所以现在的垂直搜索引擎如果有附属的增量型sprider，那么
就会利用增量型sprider以站点为单位进行内容分类，然后再排出垂直型sprider抓取复合自己内容要求的站点;没有增量型sprider作为基础
的垂直搜索引擎，一般会采用人工添加抓取站点的方式来引导垂直型sprider作业。
总结：Sprider也就是大家常说的爬虫、蜘蛛或机器人，是处于整个搜索引擎最上游的一个模块，只有sprider抓回的页面或URL才会被索引参
与排名。需要注意的是，只要是Sprider抓取到的URL，都可能会参与排名，但参与排名的网页并不一定就被Sprider抓取到了内容，比如淘宝，天
猫那些robots屏蔽的网站。
文章由作文无忧（http://www.zuowenwuyou.com/）原创投稿，转载请注明出处。
推荐资讯
推荐站点
快速提升门_医用门_卷帘防火门
衢州玖亿门业有限公司是集生产销售维护为一体的现代化企业：主要产品有：电动伸缩门、电动感应门、PV快速门、电动抗风门、电动车库门、电动卷闸门、电动水晶门、电动防火门、快速提升门、停车系统、智能道闸等产品。 本公司有多名资深技术工程安装师傅，还培养了一批熟练的技工，员工具有丰富的安装经验，强大的安装工程队伍，让您的工程安装和后期的维护，有更好的保障。 只要您一个电话联系到玖亿，我们会有专业人员上门为您服务，不论您是工程、企业或个人，安装新的门还是维修门，我们都会根据施工现场的实际情况和您的要求给出专业合理的方案供您选择。 企业的宗旨：以人为本客户至上的原则， 与客户真诚合作，和客户建立长期友好的合作关系，用高质量的产品赢得客户满意。给客户提供专业、及时、便捷的服务！ 产品造型美观大方、新颖独特，价位合理，安全实用 ，欢迎广大新老客户来电详询。
www.f58f.com衢州感应门_衢州快速门_衢州玖亿门业有限公司
衢州感应门厂家，专业定制、安装、维修各种感应门，为您解决感应门相关的任何疑难杂症。衢州玖亿门业是明智的选择，本公司产品大部分都是定制产品，按照贵司的需求样式尺寸定做，感应门、快速门、伸缩门，电卷闸门以及工厂和小区配套使用的岗亭、道闸、车牌识别、门禁电锁等，本公司一应俱全，一站式服务，解决您的售后顾虑问题。企业的宗旨：用高质量的产品赢得客户满意。给客户提供专业、及时、便捷的服务！
http://www.door-industry-cn.com/免费发布信息网站大全_大中国商业信息网
大中国商业信息网免费发布不限制条数,大中国商业信息网是一个可以免费发布分类信息的B2B平台。可免费发布您的产品信息！便捷免费的B2B供求信息发布平台
www.greatcnb2b.com大中华电子商务网
大中华电子商务网免费发布不限制条数,大中华电子商务网是一个可以免费发布分类信息的B2B平台。可免费发布您的产品信息！便捷免费的B2B供求信息发布平台
www.greatercnb2b.com全球商务信息网_中国分类信息网站大全_免费的网络推广平台
欢迎访问全球商务信息网，这里有各行业信息网/B2B电子商务网站，是最方便的免费网络推广平台，已成为无数商家网络营销/网络推广的首选网站！
www.globalb2bcn.com