第122课：Spark Streaming性能优化：Spark Streaming处理分布式拒绝服务器案例及性能优化

Spark Streaming处理分布式拒绝服务器案例及性能优化

1、Spark Streaming处理DDos
2、Spark Streaming处理DDos性能优化

反DDos:Pull到Kafka的数据会进行统计（例如基于IP的统计)，然后进行分组，然后可能和历史数据集进行匹配，同时会进行流量感知和过滤等。常见的反DDos有标签和异常检测等方式。

在处理DDos攻击的时候，肯定会使用到Window窗口操作，updateStateByKey等，对于窗口操作，我们选择特定的窗口大小和滑动时间，以前的项目中设置的窗口大小是1小时，滑动窗口我们设定为5分钟。
接下来问题是非常明显的：如何面对网络风暴？这个时候因为数据流量不稳定，所以要开启BackPressure机制。
随着服务的运行历史数据越来越多，此时如何高速的读写数据成为一个非常大的瓶颈，客户采用的是Redistribution，但是从长久服务的角度来看，个人建议采用HBase或者Cassandra;
当初做项目的时候，其实我们是把数据一方面放在了Redis中，另外一方面是直接发给了Server，让Server进行有效数据的处理；
补充:Spark Streaming可以直接在foreachRDD中发送数据给特定的Service服务，所以可以使用Spark Streaming作为整个企业数据处理的流程启动引擎；