搜索引擎蜘蛛可以模仿用户对页面进行访问，并收录页面。但是蜘蛛毕竟也是模仿，不是真实的用户访问那样，它本身也有自己缺陷，也可以说它本身有自己的口味，不是什么类型的网站它都喜欢的。那么，蜘蛛的口味到底是怎么样的呢？
1.搜索引擎能不能找到你的网站？
蜘 蛛在漫漫互联网中，通过外部链接发现网站的首页，找到首页以后，蜘蛛会沿着内部链接进一步访问网站内的其他页面，所以对蜘蛛来说，一个逻辑结构清晰的网站 是最好的，除此之外，蜘蛛能爬行的一般都是普通的HTML链接，JavaScript链接、Flash链接等蜘蛛都不是很喜欢，会影响收录。同时，网站的 每个页面离首页点击距离也不能太远，最好在四到五次以内。
2.找到网站可以收录吗？
蜘蛛顺利来到你的网站后，会先试吃，如果味道不好，它即使来了也不肯收录该页。首先，URL过长的链接，Flash的页面、框架结构、可疑转向都不是它喜欢的味道，其次，大量的复制转载它也不喜欢，谁会喜欢一直吃同一种食物呢？除了腻之外营养也不够啊。
3.Flash页面
有 些网站是利用Flash制作的，这类型网站往往视觉效果绚丽，但是部分Flash网站在SEO领域中往往是悲剧的。全页面的Flash整个网站就是一个文 件，这种俗称“蜘蛛陷阱”，用户也许觉得这个网站很好看，但是蜘蛛毕竟不是人，它是看不到这种效果的，它无法读取Flash文件中的文字和链接，虽然现在 有一些搜索引擎在技术上已经可以抓取了，但一般也只争对大型网站，小型以及个人网站谁会费这劲呢？还有一种网站是进去时会先看到一段开头动画，之后才会进 入主页，类似QQ空间的那种开头动画，这对蜘蛛来说也是不能读取的。
4.Session ID
Session ID，中文称“会话ID”，它可以跟踪用户，当一个用户进入网站时，会生成一个唯一的Session ID，放在URL中，当然，蜘蛛进入时，也同样会有一个Session ID，但要是每次蜘蛛来时都分配一个Session ID，那么蜘蛛每次来访问时得到URL都不一样，但页面是同一个页面，它会认为是复制内容，对收录是有影响的。
6.框架结构
蜘蛛是不喜欢框架结构的，虽然框架结构有利于网站的维护和更新，但是对蜘蛛来说，访问框架页面抓取的的HTML只包含调用其他HTML文件的代码，并不包含文字信息，蜘蛛无法判断这个网站的内容。
5.动态URL
最初学习wordpress时，默认使用的是动态URL，当时也不怎么在意，后来又朋友指导说不能使用动态URL时，还不太明白原因，经过各种资料查找和学习，终于知道了原因，动态URL是数据库驱动的网站所生成的，带有问号、等号的，而且很长，不利于蜘蛛爬行。
6.JavaScript链接
JavaScript往往能制作出很多很棒的视觉效果，尤其是导航系统，所以不少网站喜欢用JavaScript制作导航系统，但是蜘蛛也不能识别出来（可能它真的太笨~~开个玩笑）。如今的蜘蛛虽然也慢慢能解析了，但是跟flash一样，不是所有网站它都得费这劲的。
7.会员内容
很多网站有一些注册观看限制，需要看某个内容时，必须先要求登陆才行，没有账号还要注册，但是你认为蜘蛛会去注册一个号在进行登陆吗？