无声网站SEO服务-最专业的网站优化SEO外包服务,SEO顾问服务!
您的位置:SEO > 内容优化 >

百度蜘蛛是如何爬取文章内容的

2015-07-26作者:九江SEO来源:江西SEO 183次阅读

蜘蛛先去抓取百度白名单的网站或者一些信任度非常高的站点和页面(例如:一些高权重网站和网站的首页),在抓取这些网页的内容时发现一些指向另外一些一些页面的链接。蜘蛛会把这些链接保存在自己的数据库里面,然后再根据抓取顺序依次来抓取这些网页。

1、蜘蛛抓取网页的规则:
对于蜘蛛说网页权重越高、信用度越高抓取越频繁,例如网站的首页和内页。蜘蛛先抓取网站的首页,因为首页权重更高,并且大部分的链接都是指向首页。然后通过首页抓取网站的内页,并不是所有内页蜘蛛都会去抓取。
搜索引擎认为对于一般的中小型站点,3层足够承受所有的内容了,所以蜘蛛经常抓取的内容是前三层,而超过三层的内容蜘蛛认为那些内容并不重要,所以不经常爬取。
 
2、如何看蜘蛛的抓取?
通过iis日志可以看蜘蛛爬取了哪些内容,iis日志有百度蜘蛛、谷歌蜘蛛等。从iis日志里卖弄分析得出蜘蛛的类型、抓取时间、抓取的页面、抓取内容的大小以及返回的页面代码,200代表抓取顺利。
 

文章标题:百度蜘蛛是如何爬取文章内容的
本文地址:http://www.78myx.com/neirong/542.html 欢迎转载,转载时请您以链接形式注明来源!

编辑:无声SEO 关键词:数据分析seo数据

网友评论

SEO必学知识

最新文章

图文聚集

随机推荐