真香！EasyExcel实现Excel百万级数据导出测验，高效低内存占用。（记一次线上问题分析）_easyexcel导出100万数据-程序员宅基地

技术标签： JAVA excel spring 中级JAVA成长营 java 性能优化 java-ee

真香！EasyExcel实现Excel百万级数据导出测验，高效低内存占用。（记一次线上问题分析）

一、线上问题
二、本章目标
三、实验数据准备
四、代码实现
五、实测
六、5并下发实验
七、初步结论

一、线上问题

线上问题分析。前几天，某系统在尝试导出百万条明细时，导出时造成系统假死，内存溢出，随后系统崩溃。重启之后再次尝试导出同样的明细，结果依旧是系统崩溃。虽然没有拿到具体日志，但根据早前真香！EasyExcel实现Excel百万级数据导入，高效低内存占用对百万数据导入的验证结果，进行了初步的分析，可能存在以下两个导致问题的原因：
原因一： Excel的导出过程中，系统使用了Apache POI，大量数据导出导致堆内存占用极大，甚至超过原本应有的百倍。这就容易发生堆内存不足的问题，从而使得系统假死。而在多次full gc仍无法释放足够内存后，系统最终崩溃。
原因二： 此外，系统在导出Excel过程中使用Easy Excel，却出现分页查询语句性能问题。对于普通分页查询，由于深度分页时越往后翻页速度越慢，因此可能拖累整个数据库，最终导致应用崩溃。但值得注意的是，Easy Excel在导入导出数据过程中，是基于硬盘逐行读写的模式，这意味着不存在内存占用问题，并通过上次的实验已得到了验证大量数据导入。

二、本章目标

本次重点验证一下Easy Excle导出大量数据时的内存占用情况以及避免深分页的一种实现方案。

三、实验数据准备

实际数据： 单表，255999条数据，每行数据包含 94列，初始数据统计结果截图如下：

在这里插入图片描述

四、代码实现

关键代码截图如下：
在这里插入图片描述

五、实测

1、导出时，设置查询每页大小为 2000，即pageSize = 2000.

系统启动，初始占用堆内存为50M左右，如下图：
在这里插入图片描述
浏览器请求导出接口，观察CPU和堆内存监控如下，堆内存在100到200M之间震荡，255999条数据，全部导出，共用时2分钟14秒左右，每个批次2000条数据的查询和导出用时在260毫秒，每批次处理非常稳定，不存在深分页问题（越往后查询，速度越慢，数据库压力越大），如下面几张图：
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

可以看到导出的excel为116MB，按之前测试的，使用POI进行操作，堆内存占用会实际内容的100多倍，则25万左右的数据导出，10多G的堆内存，服务器必然出现内存溢出，可见Easy Excel在处理大量数据导入导出碾轧优势。

2、导出时，设置查询每页大小为 5000，即pageSize = 5000.

导出时，数据库每页大小设置为5000时，系统启动。浏览器请求导出接口，观察CPU和堆内存监控如下，堆内存在100到250M之间震荡，255999条数据，全部导出，共用时2分钟13秒左右，每个批次5000条数据的查询和导出用时在680毫秒左右，每批次处理非常稳定，不存在深分页问题。实验截图如下：
在这里插入图片描述

3、导出时，设置查询每页大小为 5000，即pageSize = 5000.

导出时，数据库每页大小设置为10000时，系统启动。浏览器请求导出接口，观察CPU和堆内存监控如下，堆内存在100到250M之间震荡，255999条数据，全部导出，共用时2分钟13秒左右，每个批次5000条数据的查询和导出用时在1600毫秒左右，每批次处理非常稳定，不存在深分页问题。实验数据如下：
在这里插入图片描述

从以上每页数据2000，5000，10000的结果分析，可以看出，用时基本一样，内存也差不太多，每页2000时，堆内存最小，导出用时也基本一样，基本可以得出结论，在大批量数据导出时，每页数据设置为2000比较好，内存占用小，用时也快。

六、5并下发实验

5并发下实测，从监控上看到两点：
1，CPU占用变高：
CPU占用从单次导出下的10%，到40%~50%区间震荡。主要原因为Easy Excel，基于硬盘的读写，并发情况下，IO读写大，CPU占用自然变高，不过对于多核服务器下，50%的CPU占用，毫无压力。
2，堆内存占用变大：
堆内存占用也增大，在1G到1.5G区间震荡，5并发下堆内存占用明显上升，但堆内存占用振幅较大，说明堆内存在持续释放，并不会长时间占用大量堆内存。
3，导出用时略变大：
5并发下，每个用时基本在2分钟40秒左右，与单用户下的2分钟13秒左右相比，多了30秒，变化不大。
在这里插入图片描述

通过5并发实验，可以看到，在5人同时导出时的情况下，CPU和堆内存占用有了明显的提高，不过都在安全范围以下很多，对于单台2CPU， 16G内存的服务器下（一般堆内存最大设置为10G），在处理5到10个并发导出的情况下，也不会影响到其他正常业务的稳定开展，但同时导出操作不能太多，需要设置导出队列，避免服务器CPU和内存负载过大，而影响系统的正常动行。

七、初步结论

本次线上导出故障，在没有拿到系统假死时的dump文件的情况下，初步分析原因，并实测验证，可以得出结论，EasyExcel导出百万级的数据时，占用内存很小，这种情况，不太可能出现内存溢出，但要控制导出的并发（可以通过过设置线程池大小或者增加排队处理），初步分析极有可能是导出时，用的是Apache POI实现的，从而引起故障。
至于深分页问题，如果在数仓的情况下，如果要解决深分页的问题，需要考虑分区字段因素的影响，再对相应的语句进行执行计划分析和实际验证。

本文链接：https://blog.csdn.net/mzh200801/article/details/135755458

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

c# 调用c++ lib静态库_c#调用lib-程序员宅基地

文章浏览阅读2w次，点赞7次，收藏51次。四个步骤1.创建C++ Win32项目动态库dll 2.在Win32项目动态库中添加外部依赖项 lib头文件和lib库3.导出C接口4.c#调用c++动态库开始你的表演...①创建一个空白的解决方案，在解决方案中添加 Visual C++ , Win32 项目空白解决方案的创建：添加Visual C++ , Win32 项目这......_c#调用lib

deepin/ubuntu安装苹方字体-程序员宅基地

文章浏览阅读4.6k次。苹方字体是苹果系统上的黑体，挺好看的。注重颜值的网站都会使用，例如知乎：font-family: -apple-system, BlinkMacSystemFont, Helvetica Neue, PingFang SC, Microsoft YaHei, Source Han Sans SC, Noto Sans CJK SC, W..._ubuntu pingfang

html表单常见操作汇总_html表单的处理程序有那些-程序员宅基地

文章浏览阅读159次。表单表单概述表单标签表单域按钮控件demo表单标签表单标签基本语法结构<form action="处理数据程序的url地址“ method=”get|post“ name="表单名称”></form><!--method将表单中的数据传送给服务器处理，get方式直接显示在url地址中，数据可以被缓存，且长度有限制；而post方式数据隐藏传输，_html表单的处理程序有那些

PHP设置谷歌验证器（Google Authenticator）实现操作二步验证_php otp 验证器-程序员宅基地

文章浏览阅读1.2k次。使用说明:开启Google的登陆二步验证（即Google Authenticator服务）后用户登陆时需要输入额外由手机客户端生成的一次性密码。实现Google Authenticator功能需要服务器端和客户端的支持。服务器端负责密钥的生成、验证一次性密码是否正确。客户端记录密钥后生成一次性密码。下载谷歌验证类库文件放到项目合适位置(我这边放在项目Vender下面)https://github.com/PHPGangsta/GoogleAuthenticatorPHP代码示例://引入谷_php otp 验证器

【Python】matplotlib.plot画图横坐标混乱及间隔处理_matplotlib更改横轴间距-程序员宅基地

文章浏览阅读4.3k次，点赞5次，收藏11次。matplotlib.plot画图横坐标混乱及间隔处理_matplotlib更改横轴间距

docker — 容器存储_docker 保存容器-程序员宅基地

文章浏览阅读2.2k次。①Storage driver 处理各镜像层及容器层的处理细节，实现了多层数据的堆叠，为用户提供了多层数据合并后的统一视图②所有 Storage driver 都使用可堆叠图像层和写时复制（CoW）策略③docker info 命令可查看当系统上的 storage driver主要用于测试目的，不建议用于生成环境。_docker 保存容器

随便推点

网络拓扑结构_网络拓扑csdn-程序员宅基地

文章浏览阅读834次，点赞27次，收藏13次。网络拓扑结构是指计算机网络中各组件（如计算机、服务器、打印机、路由器、交换机等设备）及其连接线路在物理布局或逻辑构型上的排列形式。这种布局不仅描述了设备间的实际物理连接方式，也决定了数据在网络中流动的路径和方式。不同的网络拓扑结构影响着网络的性能、可靠性、可扩展性及管理维护的难易程度。_网络拓扑csdn

JS重写Date函数，兼容IOS系统_date.prototype 将所有 ios-程序员宅基地

文章浏览阅读1.8k次，点赞5次，收藏8次。IOS系统Date的坑要创建一个指定时间的new Date对象时，通常的做法是：new Date("2020-09-21 11:11:00")这行代码在 PC 端和安卓端都是正常的，而在 iOS 端则会提示 Invalid Date 无效日期。在IOS年月日中间的横岗许换成斜杠，也就是new Date("2020/09/21 11:11:00")通常为了兼容IOS的这个坑，需要做一些额外的特殊处理，笔者在开发的时候经常会忘了兼容IOS系统。所以就想试着重写Date函数，一劳永逸，避免每次ne_date.prototype 将所有 ios