Unicode、UTF-8 和 ISO8859-1到底有什么区别(转载)_chenghuo9876的博客-程序员秘密

技术标签: java  



   本文主要包括以下几个方面:编码基本知识,java,系统软件,url,工具软件等。

   在下面的描述中,将以"中文"两个字为例,经查表可以知道其GB2312编码是"d6d0 cec4",Unicode编码为"4e2d 6587",UTF编码就是"e4b8ad e69687"。注意,这两个字没有iso8859-1编码,但可以用iso8859-1编码来"表示"。

2. 编码基本知识

   最早的编码是iso8859-1,和ascii编码相似。但为了方便表示各种各样的语言,逐渐出现了很多标准编码,重要的有如下几个。

2.1. iso8859-1

   属于单字节编码,最多能表示的字符范围是0-255,应用于英文系列。比如,字母a的编码为0x61=97。

很明显,iso8859-1编码表示的字符范围很窄,无法表示中文字符。但是,由于是单字节编码,和计算机最基础的表示单位一致,所以很多时候,仍旧使用iso8859-1编码来表示。而且在很多协议上,默认使用该编码。比如,虽然"中文"两个字不存在iso8859-1编码,以gb2312编码为例,应该是"d6d0 cec4"两个字符,使用iso8859-1编码的时候则将它拆开为4个字节来表示:"d6 d0 ce c4"(事实上,在进行存储的时候,也是以字节为单位处理的)。而如果是UTF编码,则是6个字节"e4 b8 ad e6 96 87"。很明显,这种表示方法还需要以另一种编码为基础。

2.2. GB2312/GBK

   这就是汉子的国标码,专门用来表示汉字,是双字节编码,而英文字母和iso8859-1一致(兼容iso8859-1编码)。其中gbk编码能够用来同时表示繁体字和简体字,而gb2312只能表示简体字,gbk是兼容gb2312编码的。

2.3. unicode

   这是最统一的编码,可以用来表示所有语言的字符,而且是定长双字节(也有四字节的)编码,包括英文字母在内。所以可以说它是不兼容iso8859-1编码的,也不兼容任何编码。不过,相对于iso8859-1编码来说,uniocode编码只是在前面增加了一个0字节,比如字母a为"00 61"。

需要说明的是,定长编码便于计算机处理(注意GB2312/GBK不是定长编码),而unicode又可以用来表示所有字符,所以在很多软件内部是使用unicode编码来处理的,比如java。

2.4. UTF

   考虑到unicode编码不兼容iso8859-1编码,而且容易占用更多的空间:因为对于英文字母,unicode也需要两个字节来表示。所以 unicode不便于传输和存储。因此而产生了utf编码,utf编码兼容iso8859-1编码,同时也可以用来表示所有语言的字符,不过,utf编码 是不定长编码,每一个字符的长度从1-6个字节不等。另外,utf编码自带简单的校验功能。一般来讲,英文字母都是用一个字节表示,而汉字使用三个字节。

注意,虽然说utf是为了使用更少的空间而使用的,但那只是相对于unicode编码来说,如果已经知道是汉字,则使用GB2312/GBK无疑是最节省的。不过另一方面,值得说明的是,虽然utf编码对汉字使用3个字节,但即使对于汉字网页,utf编码也会比unicode编码节省,因为网页中包含了很多的英文字符。

3. java对字符的处理

   在java应用软件中,会有多处涉及到字符集编码,有些地方需要进行正确的设置,有些地方需要进行一定程度的处理。

3.1. getBytes(charset)

   这是java字符串处理的一个标准函数,其作用是将字符串所表示的字符按照charset编码,并以字节方式表示。注意字符串在java内存中总是按unicode编码存储的。比如"中文",正常情况下(即没有错误的时候)存储为"4e2d 6587",如果charset为"gbk",则被编码为"d6d0 cec4",然后返回字节"d6 d0 ce c4"。如果charset为"utf8"则最后是"e4 b8 ad e6 96 87"。如果是"iso8859-1",则由于无法编码,最后返回 "3f 3f"(两个问号)。

3.2. new String(charset)

   这是java字符串处理的另一个标准函数,和上一个函数的作用相反,将字节数组按照charset编码进行组合识别,最后转换为unicode存储。参考上述getBytes的例子,"gbk" 和"utf8"都可以得出正确的结果"4e2d 6587",但iso8859-1最后变成了"003f 003f"(两个问号)。

因为utf8可以用来表示/编码所有字符,所以new String( str.getBytes( "utf8" ), "utf8" ) === str,即完全可逆。

3.3. setCharacterEncoding()

   该函数用来设置http请求或者相应的编码。

对于request,是指提交内容的编码,指定后可以通过getParameter()则直接获得正确的字符串,如果不指定,则默认使用 iso8859-1编码,需要进一步处理。参见下述"表单输入"。值得注意的是在执行setCharacterEncoding()之前,不能执行任何 getParameter()。java doc上说明:This method must be called prior to reading request parameters or reading input using getReader()。而且,该指定只对POST方法有效,对GET方法无效。分析原因,应该是在执行第一个getParameter()的时 候,java将会按照编码分析所有的提交内容,而后续的getParameter()不再进行分析,所以setCharacterEncoding()无 效。而对于GET方法提交表单是,提交的内容在URL中,一开始就已经按照编码分析所有的提交内容,setCharacterEncoding()自然就 无效。

   对于response,则是指定输出内容的编码,同时,该设置会传递给浏览器,告诉浏览器输出内容所采用的编码。

 

转载于:https://my.oschina.net/liangzhenghui/blog/106605

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/chenghuo9876/article/details/100780518

智能推荐

ECG的滤波和检波资源汇总_Eason.wxd的博客-程序员秘密

ECG的滤波和检波资源汇总     ECG的滤波和检波,前人已经做了不少的工作,这里汇总一下相关的资源:1.首先要推荐的是matlab的官网,发现mathworks公司在组织matlab的开源程序交流上做了很好的工作,见       http://www.mathworks.com/matlabcentral/fileexchange/11755-peak-finding-an

GCC 安装指南_gcc一定要和文件在同一个盘吗_xuxinshao的博客-程序员秘密

   2004年4月20日最新版本的GCC编译器3.4.0发布了。目前,GCC可以用来编译C/C++、FORTRAN、JAVA、OBJC、ADA等语 言的程序,可根据需要选择安装支持的语言。GCC 3.4.0比以前版本更好地支持了C++标准。本文以在Redhat Linux上安装GCC3.4.0为例,介绍了GCC的安装过程。  安装之前,系统中必须要有cc或者gcc等编译器,并且是可用的,

sql server 2000:不能打开到主机的连接,在端口1433:连接失败_this_heart_add_add的博客-程序员秘密

来源:http://topic.csdn.net/u/20081104/20/fd1f1e2b-9350-43a4-9892-34a98a709216.html         http://hi.baidu.com/sinber/blog/item/a12e8dd8df072e3d33fa1c02.html问题:telnet 127.0.0.1 1433     提示:不能打

第四周(1) 编辑个人信息_System_WN的博客-程序员秘密

引言本周我们客户端继续进行代码编写的工作,前两天的时间里,我的工作是进行“编辑个人信息”功能的代码编写,在这里做一下介绍。编辑个人信息1、界面设计界面设计中,编辑个人信息界面可以由查看个人信息界面跳转,在查看个人信息界面的顶部bar的右侧有一个编辑按钮,点击编辑即可跳转到编辑个人信息界面,可以修改的信息有头像、昵称、性别、个人签名。下面是xml视图代码:<Li

杭电ACM1018BigNumber解析_低调的洋仔的博客-程序员秘密

一开始看见这道题目不是很明白到底是什么意思,搞了好久才明白是:给一个数规定输入数字的个数,案例中给出了2也就是输入2个数,输入的这两个数求它的阶乘的位数,一开始想着是这样做:直接求指出然后求长度,这是最不需要动脑子的方法,但是,这个方法并不奏效,因为阶乘的数值是很大的,普通的int,long类型一旦求比较大的数的阶乘的时候往往会溢出,所以最好的方法应该是避免求他的值才行。

Oracle-08:连接查询_Qgee2013的博客-程序员秘密

------------吾亦无他,唯手熟尔,谦卑若愚,好学若饥-------------首先提供数据库脚本,供测试使用create table DEPT( deptno NUMBER(2) not null, dname VARCHAR2(20), loc VARCHAR2(13)); alter table D...

随便推点

Java selenium chromedriver与chrome版本对应表(更新至v2.41)_泥与森的博客-程序员秘密

最近在做Java Selenium爬虫相关项目,看到网上基本没有最新的chromedriver与chrome的对应关系表,便兴起整理了一份如下,希望对大家有用:chromedriver版本 支持的Chrome版本 v2.41 v67-69 v2.40 v66-68 v2.39 v66-68 v2.38 v65-67 v2.37 v64-6...

mac与win10配置adb、ideviceinstaller环境变量_adb获取idevice_vnvvvvv的博客-程序员秘密

mac配置环境变量:配置adb环境变量:1.打开terminal终端2.进入当前用户的home目录,搜索 .bash_profile,如果有就打开,没有就创建3.创建.bash_profile文件,输入命令:touch .bash_profile3.1.打开.bash_profile文件,命令行输入open -e .bash_profile 此命令行输入完毕后,会自动弹出 .bash_profile 文件的编辑窗口4.编辑.bash_profile文件,内容如下:ANDROID_HOME

国内最大个人信息泄露案,54亿条数据泄露_互联网安全研究院的博客-程序员秘密

近日,江苏无锡警方成功破获了一起侵犯公民个人信息案,犯罪嫌疑人非法获取各类公民信息54亿多条,并通过非法网络平台以查询、出售等方式牟取利益。今年3月,无锡网警发现,一名卖家利用非法网络平台,为他人查询某大型社交网络账号关联的手机号码等个人信息数据,并将查询信息以每条1000美元(约合人民币6384元)的价格出售 。江苏无锡网警深入调查发现,贵州遵义一家网络公司可能与该案有关,该网络公司的法人何某,是具有一定的黑客技术的一个人员,侦查发现他自己组建了一个社工库。社工库就是黑客们将非法获取的用户数据整合

解题报告 之 HDU5319 Painter_painter 解题报告_StanleyClinton的博客-程序员秘密

DescriptionMr. Hdu is an painter, as we all know, painters need ideas to innovate , one day, he got stuck in rut and the ideas dry up, he took out a drawing board and began to draw casually. Imagine the board is a rectangle, consists of several square gri

springboot整合mybatis中pom.xml的配置_springboot+mybatis pom.xml_水,水,水的博客-程序员秘密

&lt;?xml version="1.0" encoding="UTF-8"?&gt;&lt;project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apac...

BitSet的使用场景及简单示例_bitset 场景_jxl-taylor的博客-程序员秘密

BitSet简介    类实现了一个按需增长的位向量。位 set 的每个组件都有一个boolean值。用非负的整数将BitSet的位编入索引。可以对每个编入索引的位进行测试、设置或者清除。通过逻辑与、逻辑或和逻辑异或操作,可以使用一个BitSet修改另一个BitSet的内容。    默认情况下,set 中所有位的初始值都是false。    每个位 set 都有一个当前大小,也就是该位...