标签： 大型

python – 如何训练大型数据集进行分类

dawei Python 2021年1月23日

我有一个1600000推文的训练数据集.我该如何训练这类巨大的数据. 我尝试过使用nltk.NaiveBayesClassifier.如果我跑步,训练需要5天以上. def extract_features(tweet): tweet_words = set(tweet) features = {} for word in featureList: fea

python – 大型Pandas Dataframe并行处理

dawei Python 2020年12月4日

我正在访问一个非常大的Pandas数据帧作为全局变量.通过 joblib并行访问此变量. 例如. df = db.query(select id, a_lot_of_data from table)def process(id): temp_df = df.loc[id] temp_df.apply(another_function)Parallel(n_jobs=8)

regex – sed – 删除大型csv文件中引号内的引号

dawei Linux 2020年11月17日

我正在使用流编辑器sed将大量文本文件数据(400MB)转换为csv格式. 我已经非常接近完成,但突出的问题是引号内的引号,对于这样的数据： 1,word1,description for word1,another text,text contains double quotes some more text2,word2,description for word2,a

如何用Java解析大型(50 GB)XML文件

dawei Java 2020年7月23日

目前,我试图使用一个SAX解析器,但约3/4通过文件,它完全冻结,我已经尝试分配更多的内存等,但没有得到任何改进. 有什么办法加速吗？一个更好的方法？ 剥去它的裸骨头,所以我现在有以下代码,当在命令行运行它仍然不会像我想要的那么快. 运行它“java -Xms-4096m

如何在AWS上在Linux上创建大型,可扩展的共享文件系统？

dawei Linux 2020年7月9日

在AWS上提供大型,可扩展的共享存储的可接受/合理/最佳方式是什么,作为单个文件系统公开？ 我们目前正在制作1TB EBS卷每两周一次,并使用no_subtree_check和nohide导出NFS.在此设置中,不同的导出显示在客户端上的单个安装下.这种安排不能很好地扩展. 我们考虑的

返回顶部