大量数据写入文件 - 过早客

大量数据写入文件

IT技术 • lou_Mr • 发表于 8 年前 • 最后回复来自 catdoo • 8 年前

今天遇到一个问题，从数据库（oracle）查询出大量数据（百万行，上百列），并将该数据进行处理（特定格式）写入到文件。发现内存溢出。靠单纯的jdbc 好像根本处理不了这么多数据（好像还会超时，jdbc好像在处理结果集默认是60秒）。求助社区大牛有没有什么解决方案？小弟在此先谢谢了。
有想过用线程池（但是最后数据写入的文件是同一个文件如果用多线程是不是汇出问题。）
小弟我还是菜鸟说得不对的请多包涵

共收到22条回复

ZhuLiangliang 8 年前 #1

赞 0

出现内存溢出，是不是一次全部读出来了？

lou_Mr 楼主 8 年前 #2

赞 0

嗯

gocome 8 年前 #3

赞 0

@lou_Mr 试试

conn.setAutoCommit(false);
Statement st = conn.createStatement();
// Turn use of the cursor on.
st.setFetchSize(50);

topology 8 年前 #4

赞 0

我做过mysql大数据量导出 mysql有专门的导出命令分批导出一次导出不可能用多线程不一定合适磁盘IO有瓶颈

topology 8 年前 #5

赞 0

用多线程你也是在加速内存爆啊

tracymcladdy 8 年前 #6

赞 0

关系型数据库的数据处理用sql都能搞定啊，为什么要读出来处理。

内存溢出的话可以改容器(tomcat？)的最大内存参数和jdbc的最大连接时间。

也可以处理完数据后，用python或者shell批处理写回去。

办法总是有的嘛。。

ZhuLiangliang 8 年前 #7

赞 0

@lou_Mr 可以不要一次读全部数据到内存，可以分批读取。另外，也可以导出为 cvs 或者其他格式，当做文件来处理，会快一些，推荐用 shell 或者 python，当然 Java 来处理也行的。

ZhuLiangliang 8 年前 #8

赞 0

@tracymcladdy 导出个文件，为毛要用上 tomcat 了。。。

tracymcladdy 8 年前 #9

赞 0

@ZhuLiangliang 他用的jdbc多半是跑在容器里哇

ZhuLiangliang 8 年前 #10

赞 0

@tracymcladdy 妥妥的不一定，jdbc 和容器没啥关系吧

topology 8 年前 #11

赞 0

@tracymcladdy 你把设备所有的内存分配过去也不够

tracymcladdy 8 年前 #12

赞 0

@ZhuLiangliang 当然jvm上就能跑，不过你让楼主说话，多半肯定是用ide编译跑在容器上

tracymcladdy 8 年前 #13

赞 0

@topology 我服务器都是64g起的。。算算可以打开多大的文件

lou_Mr 楼主 8 年前 #14

赞 0

@ZhuLiangliang 想过用分批读取用rownum 就可以实现但是还有一些业务上的特定需求
例如：字段type 为1的写入文件时要进行求和处理用分批实现的话业务上好像有瓶颈
不知道还有没有其它思路

lou_Mr 楼主 8 年前 #15

赞 0

@tracymcladdy 用不用容器都可以用完全的jdbc 也是可以的另外您说的 jdbc 跑在容器里是个啥意思？
用的是完全的jdbc

lou_Mr 楼主 8 年前 #16

赞 0

@gocome 嗯好的我试一试谢谢了

gocome 8 年前 #17

赞 0

@lou_Mr 字段type为1, 怎么读都是为1吧？用上rownum就不为1了？那这个不是表里的字段啊

topology 8 年前 #18

赞 0

@tracymcladdy 我做的数据量每天是T级别的

lou_Mr 楼主 8 年前 #19

赞 0

@topology 大神你6 可以提供处理大数据的思路吗你用的是什么数据库

topology 8 年前 #20

赞 0

@lou_Mr mysql,大数量不要一次性导出，容错低，硬件也吃不了

zhouzhe8013 8 年前 #21

赞 0

数据泵

catdoo 8 年前 #22

赞 0

终于感觉楼上诸位是程序员了……

请绑定手机号后，再发言，点击此处