EEC介绍
EEC(Excel Export Core)是一个Excel读取和写入工具,目前支持xlsx格式的读取/写入以及xls格式的读取(xls支持版本BIFF8也就是excel 97~2003格式)。
EEC的设计初衷是为了解决Apache POI速度慢,高内存且API臃肿的诟病,EEC的底层并没有使用Apache POI包,所有的底层读写代码均自己实现,事实上EEC仅依懒dom4j
和slf4j
,前者用于小文件xml读取,后者统一日志接口。
EEC最大特点是高速
和低内存
,如果在项目中做数据导入导出功能,选用EEC将为你带来极大的便利,同时它的可扩展
能力也不弱。
使用inlineStr
模式的情况下EEC的读写内存可以控制在10MB以下,SharedString
模式也可以控制在16MB以下。这里 有关于EEC的压力测试,最低可以在6MB的情况下完成100w行x29列数据的读写。
EEC采用单线程、高IO设计,所以多核心、高内存并不能显著提高速度,高主频和一块好SSD能显著提升速度。
EEC在JVM参数-Xmx6m -Xms1m
下读写100w行x29列
内存使用截图
写文件
读文件
现状
目前已实现worksheet类型有
- ListSheet // 对象数组
- ListMapSheet // Map数组
- StatementSheet // PreparedStatement
- ResultSetSheet // ResultSet支持(多用于存储过程)
- EmptySheet // 空worksheet
- CSVSheet // 支持csv与xlsx互转
也可以继承已知Worksheet来实现自定义数据源,比如微服务,mybatis或者其它RPC
EEC并不是一个功能全面的Excel操作工具类,它功能有限并不能用它来完全替代Apache POI,它最擅长的操作是表格处理。比如将数据库表导出为Excel或者读取Excel表格内容到Stream或数据库。
WIKI
阅读WIKI 了解更多用法
主要功能
- 支持大数据量导出,行数无上限。如果数据量超过单个sheet上限会自动分页。(xlsx单sheet最大1,048,576行)
- 超低内存,无论是xlsx还是xls格式,大部分情况下可以在10MB以内完成十万级甚至百万级行数据读写。
- 可以为某列设置阀值高亮显示。如导出学生成绩时低于60分的单元格背景标黄显示。
- 导出excel默认隔行变色(俗称斑马线),利于阅读
- 设置水印(文字,本地&网络图片)
- 提供Watch窗口查看操作细节也可以做进度条。
- ExcelReader采用stream方式读取文件,只有当你操作某行数据的时候才会执行读文件,而不会将整个文件读入到内存。
- Reader支持iterator或者stream+lambda操作sheet或行数据,你可以像操作集合类一样读取并操作excel
使用方法
pom.xml添加
<dependency>
<groupId>org.ttzero</groupId>
<artifactId>eec</artifactId>
<version>${eec.version}</version>
</dependency>
示例
导出示例,更多使用方法请参考test/各测试类
所有测试生成的excel文件均放在target/excel目录下,可以使用mvn clean
清空。测试命令可以使用mvn clean test
清空先前文件避免找不到测试结果文件
1. 简单导出
对象数组导出时可以在对象上使用注解@ExcelColumn("column name")
来设置excel头部信息,未添加ExcelColumn注解标记的属性将不会被导出,也可以通过调用forceExport
方法来强制导出。
private int id; // not export
@ExcelColumn("渠道ID")
private int channelId;
@ExcelColumn
private String account;
@ExcelColumn("注册时间")
private Timestamp registered;
默认情况下导出的列顺序与字段在对象中的定义顺序一致,也可以设置colIndex
或者在addSheet
时重置列头顺序。
// 创建一个名为"test object"的excel文件,指定作者,不指定时默认取系统登陆名
new Workbook("test object", "guanquan.wang")
// 添加一个worksheet,可以通过addSheet添加多个worksheet
.addSheet(new ListSheet<>("学生信息", students))
// 指定输出位置,如果做文件导出可以直接输出到`respone.getOutputStream()`
.writeTo(Paths.get("f:/excel"));
2. 高亮和数据转换
高亮和数据转换是通过@FunctionalInterface
实现,Java Bean也可以使用StyleDesign
注解,下面展示如何将低下60分的成绩输出为"不合格"并将整行标红
new Workbook("2021小五班期未考试成绩")
.addSheet(new ListSheet<>("期末成绩", students
, new Column("学号", "id", int.class)
, new Column("姓名", "name", String.class)
, new Column("成绩", "score", int.class, n -> (int) n < 60 ? "不合格" : n)
).setStyleProcessor((o, style, sst) ->
o.getScore() < 60 ? Styles.clearFill(style) | sst.addFill(new Fill(PatternType.solid, Color.orange)) : style)
).writeTo(Paths.get("f:/excel"));
内容如下图
3. 自适应列宽更精准
// 测试类
public static class WidthTestItem {
@ExcelColumn(value = "整型", format = "#,##0_);[Red]-#,##0_);0_)")
private Integer nv;
@ExcelColumn("字符串(en)")
private String sen;
@ExcelColumn("字符串(中文)")
private String scn;
@ExcelColumn(value = "日期时间", format = "yyyy-mm-dd hh:mm:ss")
private Timestamp iv;
}
new Workbook("Auto Width Test")
.setAutoSize(true) // 自动列宽
.addSheet(new ListSheet<>(randomTestData()))
.writeTo(Paths.get("f:/excel"));
4. 支持多行表头
public static class RepeatableEntry {
@ExcelColumn("订单号")
private String orderNo;
@ExcelColumn("收件人")
private String recipient;
@ExcelColumn("收件地址")
@ExcelColumn("省")
private String province;
@ExcelColumn("收件地址")
@ExcelColumn("市")
private String city;
@ExcelColumn("收件地址")
@ExcelColumn("区")
private String area;
@ExcelColumn(value = "收件地址", comment = @HeaderComment("精确到门牌号"))
@ExcelColumn(value = "详细地址")
private String detail;
}
5. 报表轻松制作
现在使用普通的ListSheet就可以导出漂亮的报表,省掉建模板的烦恼。示例请跳转到 WIKI
记帐类
统计类
读取示例
EEC使用ExcelReader#read
静态方法读文件,其内部采用流式操作,当使用某一行数据时才会真正读入内存,所以即使是GB级别的Excel文件也只占用少量内存。
默认的ExcelReader仅读取单元格的值而忽略单元格的公式,可以使用ExcelReader#parseFormula
方法使Reader解析单元格的公式。
下面展示一些常规的读取方法
1. 使用stream操作
try (ExcelReader reader = ExcelReader.read(defaultPath.resolve("用户注册.xlsx"))) {
reader.sheets().flatMap(Sheet::rows).forEach(System.out::println);
} catch (IOException e) {
e.printStackTrace();
}
2. 将excel读入到数组或List中
try (ExcelReader reader = ExcelReader.read(defaultPath.resolve("用户注册.xlsx"))) {
// 读取所有worksheet
Regist[] array = reader.sheets()
// 读取数据行
.flatMap(Sheet::dataRows)
// 将每行数据转换为Regist对象
.map(row -> row.to(Regist.class))
// 转数组或者List
.toArray(Regist[]::new);
// TODO 其它逻辑
} catch (IOException e) {
e.printStackTrace();
}
3. 当然既然是Stream那么就可以使用流的全部功能,比如加一些过滤和聚合等。
reader.sheets()
.flatMap(Sheet::dataRows)
.map(row -> row.to(Regist.class))
.filter(e -> "iOS".equals(e.platform()))
.collect(Collectors.toList());
以上代码相当于SQL select * from '用户注册' where platform = 'iOS'
xls格式支持
pom.xml添加如下代码,添加好后即完成了xls的兼容,是的你不需要为xls写任何一行代码,原有的读取文件代码只需要传入xls即可读取,
<dependency>
<groupId>org.ttzero</groupId>
<artifactId>eec-e3-support</artifactId>
<version>0.5.4</version>
</dependency>
读取xls格式的方法与读取xlsx格式完全一样,读取文件时不需要判断是xls格式还是xlsx格式,因为EEC为其提供了完全一样的接口,内部会根据文件头去判断具体类型, 这种方式比判断文件后缀准确得多。
你可以在 search.maven.org 查询eec-e3-support版本,两个工具的兼容性 参考此表
CSV与Excel格式互转
- CSV => Excel 向Workbook中添加一个
CSVSheet
即可 - Excel => CSV 读Excel后通过Worksheet调用
saveAsCSV
代码示例
// CSV转Excel
new Workbook("csv path test", author)
.addSheet(new CSVSheet(csvPath)) // 添加CSVSheet并指定csv路径
.writeTo(getOutputTestPath());
// Excel转CSV
try (ExcelReader reader = ExcelReader.read(testResourceRoot().resolve("1.xlsx"))) {
// 读取Excel并保存为CSV格式
reader.sheet(0).saveAsCSV(getOutputTestPath());
} catch (IOException e) {
e.printStackTrace();
}
CHANGELOG
Version 0.5.4 (2022-08-28)
- 支持显示/隐藏网络线
- 支持显示/隐藏指定列
- 字体增加"删除线"样式
- Comment增加width和height两属性,用于调整批注大小
- BIFF8Sheet支持reset重置流用于反复读取
- 修复部分BUG(#282,#285)
Version 0.5.3 (2022-07-25)
- 修复导出时日期少6天的问题(#269)
- 支持多个ExcelColumn注解,可以实现多行表头(#210)
- 微调表格样式使其更突出内容
- 优化自动计算列宽的算法使其更精准
- 修复部分BUG(#264,#265)
Version 0.5.2 (2022-07-16)
- (严重)修复大量单元格字节超过1k时导致SST索引读取死循环问题(#258)
- StatementSheet&ResultSetSheet添加StyleProcessor实现整行样式调整(#235)
- 修复部分BUG(#257, #260)
Version 0.5.1 (2022-07-10)
- 提升对非标准Office OpenXML生成的excel读取兼容性(#245, #247)
- 提升读取Excel时Row转Java对象的兼容性(#254)
- 修复部分BUG(#249, #252)