网站日志分析也是我们SEO优化需要掌握的知识点,从日志代码的分析出我们可以看出蜘蛛对于我们网站的评价以及抓取详情,从而对后面的优化工作起指导作用,不过网站虽然日志分析不难,但是新手还是不了解其中的意思,这样分析起来就会有问题,下面上海储工网络SEO优化师就来简单地说说怎么读懂蜘蛛看懂网站日志。
1、蜘蛛名称
网站日志中,蜘蛛名称一般有下面几类:
百度->baiduspider、Google ->Googlebot、Msn ->msnbot、yahoo ->Slurp、yodao ->YoudaoBot、sogou ->Sogou+get+spider 。在日志中,只要搜索以上蜘蛛名称,就可以看到该蜘蛛类型的爬取痕迹。
2、蜘蛛返回类型
在蜘蛛爬取后会返回代码,常见HTTP状态码分类:
(1)200代码,表示蜘蛛爬取返回正常。
(2)304代码,表示自从上次抓取后,该内容没有更新。
(3)404代码,访问的这个链接是错误链接。
(4)301代码,表示永久重定向。
(6)500代码,表示程序有错。
3、日志代码解读
date记录访问日期;
time访问时间;
s-sitename虚拟主机的代称。
s-ip访问者IP;
cs-method表示访问方法,常见的有两种,一是GET,二是POST;
cs-uri-stem就是访问哪一个文件;
cs-uri-query是指访问地址的附带参数,如asp文件?后面的字符串id=12等等,如果没有参数则用-表示;
s-port 访问的端口;
cs-username 访问者名称;
c-ip 来源ip;
cs(User-Agent)访问来源;
sc-status状态,200表示成功,403表示没有权限,404表示打不到该页面,500表示程序有错;
sc-substatus 服务端传送到客户端的字节大小;
cs–win32-statu客户端传送到服务端的字节大小;
举例说明:
2014-08-29 00:09:12 W3SVC962713505 203.171.226.111 GET /index.html – 80 – 61.135.168.39 Baiduspider+(+http://www.baidu.com/search/spider.htm) 200 0 64
1、203.171.226.111就是搜索引擎蜘蛛访问的网站ip
2、61.135.168.39 Baiduspider代表的ip。
3、代码中的/index.html 就代表搜索引擎蜘蛛访问的网页
4、2014-08-29 00:09:12 代表搜索引擎蜘蛛爬行的日期与时间
5、代码中的200就代表搜索引擎蜘蛛爬行后返回代码
6、W3SVC962713505代表网站日志所在的文件夹
上海储工网络 http://www.chuseo.com 储工网络营销工作室 版权所有
全国统一服务热线:159 21555 216
服务QQ:2788419168
地址:1、上海市闵行区老沪闵路1351弄;2、上海市金山区板桥东路1480弄
COPYRIGHT 2016~2020 WWW.CHUSEO.COM All RIGHTS RESERVED
上海储工网络为中小企业提供满意、超值的上海网站SEO优化服务外包、上海SEM百度竞价托管等解决方案!