Node.js环境中使用GBK编码

Node.js环境中使用GBK编码NodeJS环境中使用GBK编码Node默认支持的编码格式Node中的Buffer对象支持以下编码(以6.9.1版本为例):参考API[https://npm.taobao.org/mirrors/node/latest/docs/api/buffer.html#buffer_buffers_and_character_encodings]*ascii:7-bitASCIIdata,舍

NodeJS环境中使用GBK编码

Node默认支持的编码格式

Node中的Buffer对象支持以下编码(以6.9.1版本为例):参考API[https://npm.taobao.org/mirrors/node/latest/docs/api/buffer.html#buffer_buffers_and_character_encodings]

  • ascii :7-bit ASCII data,舍弃高位
  • utf8 : 多字节编码,大多数情况下String的默认编码格式
  • utf16le : 2或4字节编码
  • base64 : BASE64
  • latin1 (别名 binary): 单字节编码( A way of encoding the Buffer into a one-byte encoded string (as defined by the IANA in RFC1345, page 63, to be the Latin-1 supplement block and C0/C1 control codes))
  • binary : latin1的别名
  • hex : 单字节编码,用2位十六进制数字编码一个字节

GBK与UTF-8

简单说一个是国家标准(GB)、一个是国际标准
GBK是我国颁布的一种汉字编码,作为一个体系,其前身是GB2312,后来演进为GB18030。这个系列的编码标准致力于解决中国国内面临的文字的编码问题,支持的语言包括中文汉字(简体)、日语、韩语、藏文、蒙文、维吾尔文等,主要还是中文。常见汉字用两个字节编码。
UTF-8是一种国际标准,同一个体系的还有UTF-16等。UTF-8致力于解决地球上全部文字的编码表示问题,除了东亚文字还包括其他语言的编码,如波斯文。其编码一个文字采用两个或三个字节。

一个常用汉字占用的字节数:
GB2312:2字节,GBK:2字节,GB18030:2字节,UTF-8:3字节
稀有的汉字:
GB2312: 不包含, GBK:包含,GB18030:包含,UTF-8:包含
特别稀有的汉字:
GB2312: 不包含, GBK:不包含,GB18030:包含,UTF-8:不包含

两种编码同时存在,且会长期共存。同一个系统内部尽量不要混用。

使用iconv-lite做编码转换

Node环境下处理汉字编码常用的有iconv和iconv-lite,前者使用二进制库实现,后者纯JS实现(性能上后者略好【没有实际测试】),这里只介绍iconv-lite[https://npm.taobao.org/package/iconv-lite]
iconv-lite支持的编码格式包括:

  • 所有node.js原生支持的编码: utf8, ucs2 / utf16-le, ascii, binary, base64, hex.
  • 其他unicode编码: utf16, utf16-be, utf-7, utf-7-imap.
  • 所有常见单字节编码:Windows 125x系列, ISO-8859系列, IBM/DOS codepages, Macintosh系列, KOI8系列, 其他iconv库支持的编码. 支持latin1, us-ascii这类别名.
  • 所有常见多字节编码: CP932, CP936, CP949, CP950, GB2313, GBK, GB18030, Big5, Shift_JIS, EUC-JP.

官方给出的例子:

var iconv = require('iconv-lite');
str = iconv.decode(new Buffer([0x68, 0x65, 0x6c, 0x6c, 0x6f]), 'win1251');
buf = iconv.encode("Sample input string", 'win1251');

也支持Stream方式使用,参见 https://npmmirror.com/package/iconv-lite

对于早期版本的Node,可以通过extendNodeEncodings在不影响代码结构的情况下扩展Node各原生接口支持的编码种类;这种方式在较新版本(v4+)已经废弃无法使用.

给出一个从GBK文件读取内容,然后编码转存为UTF-8编码的例子

var buffer = Buffer.from(fs.readFileSync('gbkFile.txt',{encoding:'binary'}),'binary');
console.log(buffer);//得到文件内容对应的Buffer
var text = iconv.decode(buffer,'GBK');//使用GBK解码
console.log(text);
//console.log(iconv.encode(text, 'utf8'));
//console.log(iconv.encode(text, 'gbk'));
fs.writeFileSync('utfFile.txt',iconv.encode(text, 'utf8'),'binary'); //按二进制方式写入
fs.writeFileSync('utfFile2.txt',text,'utf8'); //按UTF8写入

今天的文章Node.js环境中使用GBK编码分享到此就结束了,感谢您的阅读。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
如需转载请保留出处:https://bianchenghao.cn/11602.html

(0)
编程小号编程小号

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注