分享

第124课:Spark Streaming性能优化:通过Spark Streaming进行设备日志监控报警及性能优化

 看风景D人 2019-02-24

通过Spark Streaming进行设备日志监控报警及性能优化

1、Spark Streaming进行设备监控及报警
2、Spark Streaming进行设备监控性能优化

ELK Stack:一整套开源的日志处理平台解决方案,可以集日志的采集、检索、可视化于一身,真正的处理现在的首选是Spark Streaming,中间件为Kafka用于做ELK和Spark Streaming之间的适配,关键的地方在于可以通过Spark Streaming中的.transform方法可以实现非常复杂的功能,而通过foreachRDD可以根据处理的结果发送邮件、短信、调用第三方平台或者报警系统等。
图124-1 使用Spark Streaming监控设备日志并报警

Transoform可触发Action

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多