首页 >> 网络营销词典 >> 互联网基础知识FAQ >> 蜘蛛陷阱

蜘蛛陷阱[编辑]


1、搜索引擎能不能找到网页。

1要让搜搜引擎发现网站首页,网站推广就必须有良好的外部链接链接到首页,就找到了首页,然后蜘蛛会沿着链接爬的更深。

让蜘蛛通过简单的html页面的链接到达,javascript链接,flash链接都是蜘蛛的陷阱。这点要注意。

2找到网页后能不能抓去内容。

被发现的蜘蛛是可以被爬取的,数据库动态生成,带过很多的参数url、sessionID、整个页面都是flash、框架结构、大量的转向,和大量的复制内容都可能把蜘蛛拦截在门外。这也也是要注意的

2、flash

1在网页某一个部分使用flash来增强视觉效果很正常网络推广,比如现在很多的flash广告、图标等。但是这是一个html页面的一部分。不会有太大的影响

2但是有的网站就是一个很大的flash文件,这就构成了蜘蛛的陷阱,这时候蜘蛛爬取的只有一个flash链接,没有其他的内容,所以这点尽量要避免。

3、sessionID

有些网站使用sessionID(会话ID)跟踪用户的访问,用户的没一次访问都会生成一个独立的ID,然后加在url里,这是蜘蛛每一次抓取网站都会把蜘蛛当作一个新的用户网络营销,造成蜘蛛不能正常爬取,这也是蜘蛛的一大陷阱。

2通常建议跟踪用户访问应该使用cookies而不要生存sessionID 。

4、各种的跳转

除了大家熟悉的301转向之外,其他的转向对搜索蜘蛛都比较敏感的,比如302暂时转向,javascript转向,flash转向,meta refresh跳转,所以建议大家不要做其他不利于网页的转向,301也包括,不到万不得已的时候也不要用301转向。这是个建议。

5、框架结构

1如果你不知道框架结构的话,网站推广你就可以省略这一个步骤,因为你已经避免了这个蜘蛛陷阱。

2使用框架设计页面,在早期的时候有,不过现在的网站都很少用框架设计,所以这里就不多说了,无论你是在用或者没用,记住一句话:不要让搜索引擎去讨好你。忘记框架这回事。

6、动态url

动态url是指数据库驱动的网站所生成的,带有? =号的等参数的都是,一般来说要避免这种动态参数url、因为这样不利于蜘蛛爬取。

7、javascript链接

1现在有很多的网站都喜欢用java脚本生成导航系统网络推广,这是一个很严重的蜘蛛陷阱,就等于在蜘蛛还没开始爬的时候你就已经把门关上了。所以要尽量避免

2java链接在seo中也有一定的用途,站长可以让一些不参与排名的网页和重复的内容页面,可以用java链接阻止蜘蛛爬取。

8、要求登录

有些网站的内容是需要用户登录才能看到的会员区域网络营销,因为这部分蜘蛛爬取不到,因为蜘蛛不会注册,也不会登录,也不会输入帐号密码。所以要修改掉。

9、强制使用cookies

有些网站为了实现某种功能,如记住用户信息,跟踪用户访问路径等。强制用户用cookies,如果用户没有用cookies,页面就会现实不正常。所以强制使用cookies只能造成蜘蛛无法正常访问。

参考资料: http://www.51hlht.com/show8i2668p1.html 不利于蜘蛛爬取的网页-蜘蛛陷阱续
扩展阅读:
相关词条:
合作编辑:

网络营销词典内容均由网友提供,仅供参考。如发现词条内容有问题,请发邮件至info # wm23.com。

词条信息

浏览次数:85

编辑次数:0历史版本

创建者: 赵鹏

最近更新:2013/10/16 14:04:20

词条分类导航

关于网络营销教学网站| 本站动态| 网站地图| 版权声明| 联系作者| 问题和建议|

版权声明:网络营销教学网站所有作品版权均归原作者所有,未经书面许可,严禁任何形式的转载/转贴、出版、篡改、汇编、编译等。