互联网工具及软件
搜索引擎机器人
机器人(robots)事实上是一个精心设计的网站爬行程序,依照网站的连接从一个网站游历到另一个网站。根据这种自动化程序基于预先设计好的网站排名标准及算法,对网站进行评估排名。虽然每个搜索引擎各有各的标准及算法,然而他们对搜索结果判定网站排名上也具有很多相似的地方。一个搜索引擎机器人会先爬行一个网站,检索在它看来是重要的页面部件,这些检索的数据随后被分析,并赋予指定关键字在搜索结果中的排名。每个搜索引擎算法被设计成足以判断相应关键字和相关页面的相关程度。
百科名片
搜索引擎机器人也称网络蜘蛛(Web Spider),这是一个很形象的名字。把互联网比喻成一个蜘蛛网,那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛通过网页的链接地址来寻找网页,从网站某一个页面(通常是首页)开始,读取网页的内容,找到在网页中的其他链接地址,然后通过这些链接地址寻找下一个网页,这样一直循环下去,直到把这个网页都抓取完为止。如果把整个互联网当做一个网站,那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。
参考资料:
扩展阅读:
http://abc.wm23.com/xj15914302166
相关词条: