|
看过笔者去年RSA大会系列文章的读者一定对关于“圣杯”的讨论记忆犹新。安全行业的变化速度之快令人眼花缭乱，紧跟创新潮流并不能保证成功。例如，各位看官有没有意识到，移动安全作为一个品类正在消失，其能力被其它产品线逐渐融合。去年的圣杯“自动化”今年已经遍地开花，成为追求效率的安全团队选择产品时的首要考虑因素。今年的圣杯毫无悬念，展会现场到处都是包含“机器学习”的宣传材料，铺天盖地目不暇接，都不用费精力探寻。如果各位觉得这仅仅是功能上的升级，那就没有预料到一场更深层次的变革已经悄悄到来。 安全数据分析与其它企业职能相比远远落后 清醒认识自身弱点是走向成功的必要条件。虽然数据分析已经给安全带来很多提升，是众多厂商追逐的目标，但事实上，信息安全行业的数据分析能力，是企业各职能部门中最落后的。这也无可厚非，当市场部门已经用几十个纬度的评价指标衡量一次广告投放或促销活动是否成功时，当HR部门用KPI体系衡量部门和员工绩效并提供升迁依据时，当设计部门根据几万次风洞实验结果数据优化车门把手形状时，当生产部门利用工人子任务完成时间数据调整流水线配置时，PC甚至还没有出现，botnet更无从谈起。 虽然情有可原，但很无奈的，目前绝大部分安全分析师的工作，仅局限于数据采集、处理、和极度有限的分析（关联验证等）。不相信的请花些时间研究一次自己团队成员的时间分配，看看初级工作到底占比多大。安全设备的日志采集，报警信息的汇总，黑白名单比对，恶意文件散列值查询，Whois信息检索，PDNS历史盘查，DGA域名计数统计，公开报告信息提取，等等，消耗着安全人员相当比例时间，而产出却相当有限。请不要认为挂上数据分析师头衔就是高大上，如果把这些简单处理就算成分析，那让发展了二十年的BI情何以堪。能做极度有限的数据分析的团队，在今天的安全市场上也是凤毛麟角。难怪所有从业者都在大喊人才荒。讲这些并不是自我鄙视，笔者也时常在做这些初级工作，安全从业人员只有认清差距才可能迎头赶上。 安全分析师的养成，基本靠碎片化的知识，自身的摸索，和实践经验的积累。成体系的安全数据分析套路和教育方法，仍未出现。创造性推理能力仍属于少数精英分析师，他们多年积累下来的直觉和经验，根本无法传授。这就导致安全数据分析，整体来说，一直处于相对较低水平线上，更容易被机器学习所取代。 何种工作会被基于人工智能的自动化所替代 预测人工智将会替代哪些职位的文章很多，但都不如麦肯锡的分析到位。与其猜测岗位，不如看看工作具体内容更加准确。 果不其然，在美国，数据采集和数据处理，加起来占33%的人类工作时间，有超过60%的概率会被基于人工智能的自动化技术所替代。 帷幕已然拉开，替代无可避免。 Watson for Security的实质是利用AI高效完成数据采集和处理 让我们先有意忽视名词“认知计算”的巨大冲击力，认真去研究Watson到底实现了哪些功能。笔者在展会现场看到的演示，主要是将QRadar发现的异常事件中的指标，包括样本散列值、域名、IP等，在其公开威胁分析报告库中找到对应文章，例如FEYE发布的APT1报告，并展示出来供分析师参考。是的，不要惊讶，只有这么一个新增功能。那些可视化关联显示并不是Watson，而是QRadar早就提供的。 但是这个功能是否有用？非常有帮助。可以大大提高应急响应团队的效率。试想你发现了一个疑似木马，如果没有Watson，你可能需要安排团队成员逆向代码，分析其行为和网络连接，确认造成何种损害，追踪溯源，评估造成的风险，然后才可以开始处置流程。如果有威胁情报平台，你可以直接去查询，确认是木马，知道木马所属家族，节省了前面几步，但损害评估之后的过程仍需要自己完成。如果有了Watson，恰好又有厂商发布了关于此木马的分析报告，那你可以在很短时间内了解攻击者的来源，他们的意图，是误伤还是有针对性的攻击，立刻了解风险高低，从而高效规划下一步的行动。请注意，缩短响应时间，是提升整体安全水平的重要指标。 那么这个功能看起来很容易实现？答案是否定的。自然语言处理技术的应用十分复杂。在此应用场景里需要使用诸如新词发现（考虑到安全厂商总是起些莫名其妙的名字），关键信息提取（是通过后门还是漏洞搞进去的？针对终端的还是服务器的？），上下文（你想知道出现了Russia是代表进攻方还是受害方？总得看前后文意思吧）等等。当然，也有简单的纬度，例如样本散列值和URL的提取。究竟Watson做到了多好，笔者希望未来有机会进行深度测试。 未来Watson还应该向哪个方向发展？显然，如果能根据用户特点推送适用威胁分析报告相关指标，并使用QRadar实施大规模猎捕，则会更加获得用户青睐。例如，作为能源行业的安全团队，如果C厂商发布了一份针对我国能源行业的攻击分析报告，我希望不要过一个月等到我在QRadar里看到一个IOC然后再通过Watson查找，而是发布后第一时间就给我推送此份报告，并在我同意之后，立即使用报告中所列明的IOC，并查询其它威胁情报来源，对我所管辖的企业网络中进行大规模排查。如此便能极大提高自动化程度，带来质的改变。当然，这种能力需要更多的机器学习能力，例如文本分类等技术实际上已经成熟可以尝试应用。 Watson for Security，就是典型的使用人工智能实现自动化以替代人类分析师的案例。 Azure团队已不满足于用机器学习仅实现检测 行家一出手，便知有没有。这句古老的谚语绝对有其存在的意义。展会现场，人工智能已经变成安全产品新标准功能，但笔者转了一圈观察各展台演示的结论，却不是那么乐观。很明显，大型厂商在机器学习上能保证持续高投入，技术积累优势明显，应用场景广泛；而中小型厂商，少数有单点突破，大部分只是不想错过这班列车，真实产品效果堪忧。那些充斥着各种高大上名词的宣传材料，明眼人一看就知道根本还没入门。 笔者很早就认为微软在云市场必有爆发，现在已经验证。在安全领域，虽然微软现在输出能力很少，并不能算是一线厂商，但其凭借深厚积累，再次成为技术领头羊之一。下面几页幻灯片，一定是拥有长期将机器学习应用于安全领域的第一手经验，才能总结得出。 现在，不少安全水平领先的企业中已经拥有成建制的蓝军，但是能依照上图所示方法和流程系统性得以改善安全体系的并不多见。 只有深入检测和响应第一线的从业者，才会理解误报率是多么可怕的问题。而机器学习恰恰可以解决此问题：降低误报是机器学习实际应用的公认目标之一。机器学习误报高是严重误解，在降低传统方法造成误报的领域大有作为。关于选择AI算法降低误报，另一个厂商的一张幻灯片也做了生动的解释。 请读者们注意，蓝色线条才是真正合适的算法。那些为了宣传而刷高准确率的，在实际环境中效果并不好。具体不多解释了，这些都是长时间用机器学习解决实际场景问题才能总结出来的经验之谈。 仅仅将机器学习用于检测，已经不能满足要求。Azure团队已经开始尝试将AI应用于提高应对威胁的处置流程。请各位读者不要着急质疑，在这方面，笔者已经看到了实验室级别的实现，相信不久就会在市场上出现。 这套幻灯片中，笔者最为推崇的就是上图的框架。这与笔者过去几年实践总结出的结论完全相同。此模型中，明确了机器学习检测结果需要可解释且可行动才有价值。而目前号称用深度学习和神经网络算法的技术，往往难以给SOC团队一个明确的威胁原因解释。不要以为深度学习在图像识别领域有重大突破就无坚不摧了，具体场景还需要大量的算法筛选和针对性优化。就算某一种AI算法能高准确率检测出威胁，但是却不能给出任何处置威胁的线索，请各位看官仔细想想，这在实际场景中有用吗？只能提出问题却不能辅助解决问题的方案，在企业中能落地吗？正如不可行动的威胁情报价值极低一样，没有可行动措施的机器学习结果对安全毫无意义。关于威胁情报的可行动性，请参阅本公众号两年前的文章。笔者认为，不能向应急团队提供风险原因的AI安全产品终将消失。 在Azure的实践中，亦可以明显看到机器学习替代人工分析的大量迹象。其实在去年其CTO的演讲中，就能看到此趋势。 人工智能替代安全分析师的第一步已经迈出 机器学习在安全行业里的应用已是大势所趋。下图解释了此现象的驱动原因。 最前面列出的两点原因是：人类做分析很慢；人类成本更高。其实AI在安全行业中替代人类分析师的趋势还可以列出更多原因：专业人员稀少，培训时间长，人类员工更容易犯错，人类员工更倾向于偷懒，人类员工受情绪影响严重，人类员工不擅长高度重复性工作，等等等等。这些弱点都是无可辩驳的事实。更进一步，人工处理海量数据，实在是不可能完成的任务，而机器学习却可以胜任短时间内重复处理分析海量数据。随着人工智能技术的成熟和应用的普及，从事初级工作的岗位被取消，没有竞争力的人员被淘汰，物竞天择理所应当。 当然，人工智能也是人类创造出来的。随着低级数据分析工作被取代，自动化大规模落地，安全从业者可以被解放出来从事更高附加价值的任务，安全领域的数据分析水平自然水涨船高。 （本文部分内容选自笔者于安在安创汇沙龙中的分享） |
|
|
