首页 Ubuntu ubuntu下读取 不同编码格式的文件 读取中文

ubuntu下读取 不同编码格式的文件 读取中文

# -*- coding: utf-8 -*- #汉字编码 unicode 0x4e00 – 0x9fa5 两万多个 #GB2312,简体中文字符集6763个常用汉字和682个全角非汉字字符,根据使用频率分两级,一级 #汉字3755个,二级汉字3008个。 #GB18030-2005 是目前最新的内码字集 #GBK 是对GB2312的 #在Wi

# -*- coding: utf-8 -*-

#汉字编码 unicode 0x4e00 – 0x9fa5 两万多个

#GB2312,简体中文字符集6763个常用汉字和682个全角非汉字字符,根据使用频率分两级,一级

#汉字3755个,二级汉字3008个。

#GB18030-2005 是目前最新的内码字集

#GBK 是对GB2312的

#在Windows 环境下

#判断文件的编码格式

import chardet

import codecs

f = open(‘GB2312_set.txt’,’r’)

data = f.read()

print chardet.detect(data)

#以相应的格式打开文件

with codecs.open(“GB2312_set.txt”,’r’,’UTF-16LE’) as handle: #以UTF-16LE格式读取并转换为linux内部的unicode格式

for ln in handle:

print ln

本文来自网络,不代表青岛站长网立场。转载请注明出处: https://www.0532zz.com/html/zhonghe/fwq/ubuntu/20200722/6827.html
上一篇
下一篇

作者: dawei

【声明】:青岛站长网内容转载自互联网,其相关言论仅代表作者个人观点绝非权威,不代表本站立场。如您发现内容存在版权问题,请提交相关链接至邮箱:bqsm@foxmail.com,我们将及时予以处理。

为您推荐

返回顶部