分享

【流量异常排查——运维篇】

 不知道叫什么lb 2017-12-13



站点在日常运转的过程中,可能会遇到流量出现异常的现象,我们这里所说的异常是指流量下降达到一个较大的比率,且是如几天以上持续性的。作为一个SEOer,应该学会如何从各个维度去分析与查找到流量波动的原因,这里不仅限于流量的下降,同时还应该关注流量上升的情况,这样我们才能发现流量下降的漏点进行亡羊补牢,而对流量上升的驱点进行顺水推舟,从而保证流量的平稳或上升。 

关于流量波动的数据结果,我们可以通过百度统计、百度站长平台流量与关键词工具(见附件1)进行监控。下面我们就从运维(其他方面后续分享)的角度,分享如何排查站点流量下降的异常情况。 

一、DNS不稳定 
DNS
即域名系统,通过DNS服务商将域名解析到对应的IP地址。显然,不稳定的DNS服务商,往往经常出现各种解析问题,导致站点无法访问。如我们列表网这种多解析方式(泛解析、CNAME解析)、高要求解析性能的站点,更是需要高规格的DNS服务商,这里分享国内较为有名的DNS服务商DNSPODhttps://www.)。 

二、CDN不稳定 
此服务在业内较为常用,且发生的概率较大,所以重点阐述下。CDN即内容分发网络的一种加速技术,一般由第三方为中小型站点(列表网并非用此服务)提供,它的大致原理就是在全国各网络节点部署节点服务器,其按一种机制向原服务器获取站点内容数据后缓存到本地,然后各节点服务器以就近原则向请求用户提供服务。在这过程中可能会遇到以下问题导致流量出现波动: 

1
、此原因最为常见,一些CDN服务商因本身服务质量问题,可能会私自更改各节点服务器IP,百度在抓取的过程中就会遇到新老IP的问题,在站点没有告知百度之前,百度会认为此站点存在问题,进而可能减少抓取量和删除不可访问的索引量,最终导致流量的流失。所以在选择CDN服务时应该选择稳定的服务商,如百度提供的云加速http://su.baidu.com/另外,如果IP更换了,应该在百度站长平台抓取诊断工具里提交反馈告知百度(见附件2)。 

2
CDN服务商其他方面的不稳定,也会造成站点无法访问而流失流量。 

三、robots封禁 
robots
是站点与各搜索引擎spider沟通的重要渠道,站点通过robots文件声明该网站中不想被搜索引擎收录的部分,或者指定搜索引擎只收录特定的部分。下面列举出几种常见引起流量异常的robots问题: 

1
、在书写robots规则时,误以为BaiduspiderPC和移动之分,导致错误封禁,百度各频道的Baiduspider详见附件3 

2
、站点存在多台web服务器,没有把robots文件部署到全部服务器中。 

3
、百度还没及时作出更新,需要我们在百度站长平台robots工具进行检查来提交更新反馈。此外,还可以输入示例网址进行验证规则的正确性。(见附件4 

四、UA/IP封禁 
UA
封禁虽然发生的概率很小,但我们还是应该注意这个细节。它一般不会是我们主观错误操作,而是意外情况,如站点在程序中过滤时误操作UA封禁,而通常还却不知道自身封禁了蜘蛛,只有在逐步细致排查中才会发现。 

IP
封禁一般是在我们站点遇到如DDOSCC攻击时,错误地连同真实百度蜘蛛进行了封禁。关于真实百度蜘蛛,我们可以通过DNS反解析来判定,真实Baiduspiderhostname *.baidu.com*.baidu.jp的格式命名,非*.baidu.com*.baidu.jp即为冒充。根据不同服务器操作系统linuxwindowsos,下面分享其分别的验证方法: 

1
linux:可以使用host ip命令反解析ip来判断是否来自真实Baiduspider的抓取,打开命令提示符输入host xxx.xxx.xxx.xxxIP地址)就能反解析ip得到hostname 

2
windows:可以使用nslookup ip命令反解析ip来判断是否来自真实Baiduspider的抓取。打开命令提示符输入nslookup xxx.xxx.xxx.xxxIP地址)就能反解析ip得到hostname,示例见附件5 

3
mac os:可以使用dig命令反解析ip来判断是否来自真实Baiduspider的抓取,打开命令提示符输入dig xxx.xxx.xxx.xxxIP地址)就能反解析ip得到hostname 

五、安全防范与内容管理 
为保证用户体验,站点的安全性与内容的正常性,是搜索引擎一向关注的重点之一,相反,如果站点被黑客攻击利用,势必会遭到搜索引擎的惩罚,且惩罚力度与站点安全问题未解决的时间成正比。所以我们作为SEOer,是应该有意识且处理好这些方面的工作,下面就列举几点较为突出的安全问题。 

1
、域名泛解析 
域名解析,我们前面也提到过,它是站点底层的服务之一,除了保证它的高效稳定运作,同时还要管理好它的安全防范,否则,如DNS服务平台密码简单等漏洞被黑客所利用后,解析出了大量非本站的低质内容页面,导致百度对整站采取了临时处理措施,如在搜索结果页会进行截流(见附件6),进而使得站点流量流失。 

2
、网站被黑 
网站被黑,即为站点存在一定的安全隐患被黑客利用,进而创建大量的垃圾页面,如site:lenw.com.cn被利用创建了大量关于博彩的违规内容,或者在页面上植入大量隐蔽的外部链接,跟泛解析有相似之处,为保证用户体验,百度不仅在搜索结果页进行截流,同时还会给站点进行严重的惩罚。 

3
、网页被挂马 
站点被黑客入侵后,在网页中植入木马,且更为隐蔽,一般不易发现。如黑客直接在页面上植入广告代码,并区分访客是普通用户和蜘蛛来对待;或是仅给某一地区用户访问挂马页面,给蜘蛛和其他地区用户访问正常页面。尽管此情况较为隐蔽不易发现处理,但百度还是严厉对待此问题,若站点出现被挂马,自然也就会受到惩罚。 

3
UGC站被恶意群发 
UGC
站点,即用户生产内容的站点。显而易见,站点内容既然是由用户发布产生的,就应该在内容的审核机制上严格防范。避免因为站点内容的监管不到位,导致有心之人恶意地发布大量垃圾内容,当垃圾内容与正常内容的比例达到一定阈值,就有可能整站被百度进行惩罚。所以前期列表网也建立了信息审核机制的策略。

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多