您的位置:主页 > SEO技术 >

蜘蛛日志如何查看?

发布时间:2016-06-10 21:29 浏览次数:

百度用于抓取网页的程序叫做Baiduspider-百度蜘蛛,我们查看网站被百度抓取的情况主要是分析,网站日志里百度蜘蛛Baiduspider的活跃性:抓取频率,返回的HTTP状态码。

蜘蛛日志如何查看

查看日志的方式:
  
通过FTP,在网站根目录找到一个日志文件,文件名一般包含log,下载解压里面的记事本,这即是网站的日志,记录了网站被访问和操作的情况。
  
因为各个服务器和主机的情况不同,不同的主机日志功能记录的内容不同,有的甚至没有日志功能。
  
日志内容如下:
  
61.135.168.22--[11/Jan/2009:04:02:45+0800]"GET/bbs/thread-7303-1-1.htmlHTTP/1.1"2008450"-""Baiduspider+(+http://www.baidu.com/search/spider.htm)"
  
分析:
  
GET/bbs/thread-7303-1-1.html代表,抓取/bbs/thread-7303-1-1.html这个页面。
  
200代表成功抓取。
  
8450代表抓取了8450个字节。
  
如果你的日志里格式不是如此,则代表日志格式设置不同。
  
很多日志里可以看到20000和200064则都代表正常抓取。
  
抓取频率是通过查看每日的日志里百度蜘蛛抓取次数来获知。抓取频率并没有一个规范的时间表或频率数字,我们一般通过多日的日志对比来判断。当然,我们希望百度蜘蛛每日抓取的次数越多越好。
  
在网站出现问题的情况下,通过查看网站日志,查看网站的HTTP返回值是否正常。




服务热线:159 21555 216
服务QQ:2788419168
服务邮箱:chuseo@qq.com


储工首页 | 关于我们 | SEO服务 | SEM托管 | 经典案例 | 营销知识 | SEO技术 | 新闻资讯 | 服务方案 | 联系我们

上海储工网络 http://www.chuseo.com 储工网络营销工作室 版权所有
全国统一服务热线:159 21555 216
服务QQ:2788419168
地址:1、上海市闵行区老沪闵路1351弄;2、上海市金山区板桥东路1480弄
COPYRIGHT 2017 WWW.CHUSEO.COM All RIGHTS RESERVED
上海储工网络为中小企业提供满意、超值的网站seo优化(整站优化;关键词优化)、网络推广服务或网络营销外包等解决方案!

您好,请QQ交谈或留言!