标签： gb

大(27GB)文件的grep功能更快

dawei Linux 2021年1月11日

我必须从一个大文件(27GB)的文件(5MB)grep包含特定的字符串相同的字符串(和其他信息). 为了加快分析,我将27GB文件分解成1GB文件,然后应用以下脚本(在这里的一些人的帮助下).但是它不是很有效(生成一个180KB的文件需要30个小时！). 这是脚本.有没有比grep更合

Python – 将非常大(6.4GB)的XML文件转换为JSON

dawei Python 2020年9月24日

基本上,我有一个6.4GB的 XML文件,我想将其转换为 JSON,然后将其保存到磁盘.我目前正在使用i7 2700k和16GB的ram运行OSX 10.8.4,并运行 Python 64bit(双重检查).我收到一个错误,我没有足够的内存来分配.我该如何解决这个问题？ print Openingf = open(large.xml

如何用Java解析大型(50 GB)XML文件

dawei Java 2020年7月23日

目前,我试图使用一个SAX解析器,但约3/4通过文件,它完全冻结,我已经尝试分配更多的内存等,但没有得到任何改进. 有什么办法加速吗？一个更好的方法？ 剥去它的裸骨头,所以我现在有以下代码,当在命令行运行它仍然不会像我想要的那么快. 运行它“java -Xms-4096m

返回顶部