真香！EasyExcel实现Excel百万级数据导出测验，高效低内存占用。（记一次线上问题分析）

一、线上问题

线上问题分析。前几天，某系统在尝试导出百万条明细时，导出时造成系统假死，内存溢出，随后系统崩溃。重启之后再次尝试导出同样的明细，结果依旧是系统崩溃。虽然没有拿到具体日志，但根据早前真香！EasyExcel实现Excel百万级数据导入，高效低内存占用 对百万数据导入的验证结果，进行了初步的分析，可能存在以下两个导致问题的原因：
原因一： Excel的导出过程中，系统使用了Apache POI，大量数据导出导致堆内存占用极大，甚至超过原本应有的百倍。这就容易发生堆内存不足的问题，从而使得系统假死。而在多次full gc仍无法释放足够内存后，系统最终崩溃。
原因二： 此外，系统在导出Excel过程中使用Easy Excel，却出现分页查询语句性能问题。对于普通分页查询，由于深度分页时越往后翻页速度越慢，因此可能拖累整个数据库，最终导致应用崩溃。但值得注意的是，Easy Excel在导入导出数据过程中，是基于硬盘逐行读写的模式，这意味着不存在内存占用问题，并通过上次的实验已得到了验证大量数据导入。

二、 本章目标

本次重点验证一下Easy Excle导出大量数据时的内存占用情况以及避免深分页的一种实现方案。如下为Excel解析和导出过程中POI和EasyExcel在每个阶段处理时，是基于内存还是硬盘的，本章后面的内容会对EasyExcel进行实验验证。

三、实验数据准备

实际数据： 单表，255999条数据，每行数据包含 94列，初始数据统计结果截图如下：

四、代码实现

关键代码截图如下：

五、实测

1、导出时，设置查询每页大小为 2000，即pageSize = 2000.

系统启动，初始占用堆内存为50M左右，如下图：

浏览器请求导出接口，观察CPU和堆内存监控如下，堆内存在100到200M之间震荡，255999条数据，全部导出，共用时2分钟14秒左右，每个批次2000条数据的查询和导出用时在260毫秒，每批次处理非常稳定，不存在深分页问题（越往后查询，速度越慢，数据库压力越大），如下面几张图：

可以看到导出的excel为116MB，按之前测试的，使用POI进行操作，堆内存占用会实际内容的100多倍，则25万左右的数据导出，10多G的堆内存，服务器必然出现内存溢出，可见Easy Excel在处理大量数据导入导出碾轧优势。

2、导出时，设置查询每页大小为 5000，即pageSize = 5000.

导出时，数据库每页大小设置为5000时， 系统启动。浏览器请求导出接口，观察CPU和堆内存监控如下，堆内存在100到250M之间震荡，255999条数据，全部导出，共用时2分钟13秒左右，每个批次5000条数据的查询和导出用时在680毫秒左右，每批次处理非常稳定，不存在深分页问题。实验截图如下：

3、导出时，设置查询每页大小为 5000，即pageSize = 5000.

导出时，数据库每页大小设置为10000时， 系统启动。浏览器请求导出接口，观察CPU和堆内存监控如下，堆内存在100到250M之间震荡，255999条数据，全部导出，共用时2分钟13秒左右，每个批次5000条数据的查询和导出用时在1600毫秒左右，每批次处理非常稳定，不存在深分页问题。实验数据如下：

从以上每页数据2000，5000，10000的结果分析，可以看出，用时基本一样，内存也差不太多，每页2000时，堆内存最小，导出用时也基本一样，基本可以得出结论，在大批量数据导出时，每页数据设置为2000比较好，内存占用小，用时也快。

六、5并下发下实验

5并发下实测，从监控上看到两点：
1，CPU占用变高：
CPU占用从单次导出下的10%，到40%~50%区间震荡。主要原因为Easy Excel，基于硬盘的读写，并发情况下，IO读写大，CPU占用自然变高，不过对于多核服务器下，50%的CPU占用，毫无压力。
2，堆内存占用变大：
堆内存占用也增大， 在1G到1.5G区间震荡，5并发下堆内存占用明显上升，但堆内存占用振幅较大，说明堆内存在持续释放，并不会长时间占用大量堆内存。
3，导出用时略变大：
5并发下，每个用时基本在2分钟40秒左右，与单用户下的2分钟13秒左右相比，多了30秒，变化不大。

通过5并发实验，可以看到，在5人同时导出时的情况下，CPU和堆内存占用有了明显的提高，不过都在安全范围以下很多，对于单台2CPU， 16G内存的服务器下（一般堆内存最大设置为10G），在处理5到10个并发导出的情况下，也不会影响到其他正常业务的稳定开展，但同时导出操作不能太多，需要设置导出队列，避免服务器CPU和内存负载过大，而影响系统的正常动行。

七、初步结论

本次线上导出故障，在没有拿到系统假死时的dump文件的情况下，初步分析原因，并实测验证，可以得出结论，EasyExcel导出百万级的数据时，占用内存很小，这种情况，不太可能出现内存溢出，但要控制导出的并发（可以通过过设置线程池大小或者增加排队处理），初步分析极有可能是导出时，用的是Apache POI实现的，从而引起故障。至于深分页问题，如果在数仓的情况下，如果要解决深分页的问题，需要考虑分区字段因素的影响，再对相应的语句进行执行计划分析和实际验证。