編碼名稱 | 說明 |
ASCII | 7位,與ascii7相同 |
ISO8859-1 | 8-位,與 8859_1,ISO-8859-1,ISO_8859-1,latin1...等相同 |
GB2312-80 | 16位,與gb2312,gb2312-1980,EUC_CN,euccn,1381,Cp1381, 1383, Cp1383, ISO2022CN,ISO2022CN_GB...等相同 |
GBK | 與MS936相同,注意:區分大小寫 |
UTF8 | 與UTF-8相同 |
GB18030 | 與cp1392、1392相同,目前支持的JDK很少 |
在實際編程時,接觸得比較多的是GB2312(GBK)和ISO8859-1。
為什么會有“?”號
上文說過,異種語言之間的轉換是通過Unicode來完成的。假設有兩種不同的語言A和B,轉換的步驟為:先把A轉化為Unicode,再把Unicode轉化為B。
舉例說明。有GB2312中有一個漢字“李”,其編碼為“C0EE”,欲轉化為ISO8859-1編碼。步驟為:先把“李”字轉化為Unicode,得到“674E”,再把“674E”轉化為ISO8859-1字符。當然,這個映射不會成功,因為ISO8859-1中根本就沒有與“674E”對應的字符。
當映射不成功時,問題就發生了!當從某語言向Unicode轉化時,如果在某語言中沒有該字符,得到的將是Unicode的代碼“\uffffd”(“\u”表示是Unicode編碼,)。而從Unicode向某語言轉化時,如果某語言沒有對應的字符,則得到的是“0x3f”(“?”)。這就是“?”的由來。
例如:把字符流buf =“0x80 0x40 0xb0 0xa1”進行new String(buf, "gb2312")操作,得到的結果是“\ufffd\u554a”,再println出來,得到的結果將是“?啊”,因為“0x80 0x40”是GBK中的字符,在GB2312中沒有。
再如,把字符串String="\u00d6\u00ec\u00e9\u0046\u00bb\u00f9"進行new String (buf.getBytes("GBK"))操作,得到的結果是“3fa8aca8a6463fa8b4”,其中,“\u00d6”在“GBK”中沒有對應的字符,得到“3f”,“\u00ec”對應著“a8ac”,“\u00e9”對應著“a8a6”,“0046”對應著“46”(因為這是ASCII字符),“\u00bb”沒找到,得到“3f”,最后,“\u00f9”對應著“a8b4”。把這個字符串println一下,得到的結果是“?ìéF?ù”??吹經]?這里并不全是問號,因為GBK與Unicode映射的內容中除了漢字外還有字符,本例就是最好的明證。
所以,在漢字轉碼時,如果發生錯亂,得到的不一定都是問號噢!不過,錯了終究是錯了,50步和100步并沒有質的差別。
或者會問:如果源字符集中有,而Unicode中沒有,結果會如何?回答是不知道。因為我手頭沒有能做這個測試的源字符集。但有一點是肯定的,那就是源字符集不夠規范。在Java中,如果發生這種情況,是會拋出異常的。
什么是UTF
UTF,是Unicode Text Format的縮寫,意為Unicode文本格式。對于UTF,是這樣定義的:
?。?)如果Unicode的16位字符的頭9位是0,則用一個字節表示,這個字節的首位是“0”,剩下的7位與原字符中的后7位相同,如“\u0034”(0000 0000 0011 0100),用“34” (0011 0100)表示;(與源Unicode字符是相同的);
?。?)如果Unicode的16位字符的頭5位是0,則用2個字節表示,首字節是“110”開頭,后面的5位與源字符中除去頭5個零后的最高5位相同;第二個字節以“10”開頭,后面的6位與源字符中的低6位相同。如“\u025d”(0000 0010 0101 1101),轉化后為“c99d”(1100 1001 1001 1101);
?。?)如果不符合上述兩個規則,則用三個字節表示。第一個字節以“1110”開頭,后四位為源字符的高四位;第二個字節以“10”開頭,后六位為源字符中間的六位;第三個字節以“10”開頭,后六位為源字符的低六位;如“\u9da7”(1001 1101 1010 0111),轉化為“e9b6a7”(1110 1001 1011 0110 1010 0111);
可以這么描述JAVA程序中Unicode與UTF的關系,雖然不絕對:字符串在內存中運行時,表現為Unicode代碼,而當要保存到文件或其它介質中去時,用的是UTF。這個轉化過程是由writeUTF和readUTF來完成的。
好了,基礎性的論述差不多了,下面進入正題。
先把這個問題想成是一個黑匣子。先看黑匣子的一級表示:
input(charsetA)->process(Unicode)->output(charsetB)
簡單,這就是一個IPO模型,即輸入、處理和輸出。同樣的內容要經過“從charsetA到unicode再到charsetB”的轉化。
再看二級表示:
SourceFile(jsp,java)->class->output
在這個圖中,可以看出,輸入的是jsp和java源文件,在處理過程中,以Class文件為載體,然后輸出。再細化到三級表示:
jsp->temp file->class->browser,os console,db
app,servlet->class->browser,os console,db
這個圖就更明白了。Jsp文件先生成中間的Java文件,再生成Class。而Servlet和普通App則直接編譯生成Class。然后,從Class再輸出到瀏覽器、控制臺或數據庫等。
JSP:從源文件到Class的過程
Jsp的源文件是以“.jsp”結尾的文本文件。在本節中,將闡述JSP文件的解釋和編譯過程,并跟蹤其中的中文變化。
1、JSP/Servlet引擎提供的JSP轉換工具(jspc)搜索JSP文件中用%@ page contentType ="text/html; charset=Jsp-charset>"%>中指定的charset。如果在JSP文件中未指定Jsp-charset>,則取JVM中的默認設置file.encoding,一般情況下,這個值是ISO8859-1;
2、jspc用相當于“javac –encoding Jsp-charset>”的命令解釋JSP文件中出現的所有字符,包括中文字符和ASCII字符,然后把這些字符轉換成Unicode字符,再轉化成UTF格式,存為JAVA文件。ASCII碼字符轉化為Unicode字符時只是簡單地在前面加“00”,如“A”,轉化為“\u0041”(不需要理由,Unicode的碼表就是這么編的)。然后,經過到UTF的轉換,又變回“41”了!這也就是可以使用普通文本編輯器查看由JSP生成的JAVA文件的原因;
3、引擎用相當于“javac –encoding UNICODE”的命令,把JAVA文件編譯成CLASS文件;
先看一下這些過程中中文字符的轉換情況。有如下源代碼:
%@ page contentType="text/html; charset=gb2312"%>
html>body>
%
String a="中文";
out.println(a);
%>
/body>/html>
這段代碼是在UltraEdit for Windows上編寫的。保存后,“中文”兩個字的16進制編碼為“D6 D0 CE C4”(GB2312編碼)。經查表,“中文”兩字的Unicode編碼為“\u4E2D\u6587”,用 UTF表示就是“E4 B8 AD E6 96 87”。打開引擎生成的由JSP文件轉變而成的JAVA文件,發現其中的“中文”兩個字確實被“E4 B8 AD E6 96 87”替代了,再查看由JAVA文件編譯生成的CLASS文件,發現結果與JAVA文件中的完全一樣。
再看JSP中指定的CharSet為ISO-8859-1的情況。
%@ page contentType="text/html; charset=ISO-8859-1"%>
html>body>
%
String a="中文";
out.println(a);
%>
/body>/html>
同樣,該文件是用UltraEdit編寫的,“中文”這兩個字也是存為GB2312編碼“D6 D0 CE C4”。先模擬一下生成的JAVA文件和CLASS文件的過程:jspc用ISO-8859-1來解釋“中文”,并把它映射到Unicode。由于ISO-8859-1是8位的,且是拉丁語系,其映射規則就是在每個字節前加“00”,所以,映射后的Unicode編碼應為“\u00D6\u00D0\u00CE\u00C4”,轉化成UTF后應該是“C3 96 C3 90 C3 8E C3 84”。好,打開文件看一下,JAVA文件和CLASS文件中,“中文”果然都表示為“C3 96 C3 90 C3 8E C3 84”。
如果上述代碼中不指定Jsp-charset>,即把第一行寫成“%@ page contentType="text/html" %>”,JSPC會使用file.encoding的設置來解釋JSP文件。在RedHat 6.2上,其處理結果與指定為ISO-8859-1是完全相同的。
到現在為止,已經解釋了從JSP文件到CLASS文件的轉變過程中中文字符的映射過程。一句話:從“JspCharSet到Unicode再到UTF”。下表總結了這個過程:
表2 “中文”從JSP到CLASS的轉化過程
Jsp-CharSet | JSP文件中 | JAVA文件中 | CLASS文件中 |
GB2312 | D6 D0 CE C4(GB2312) | 從\u4E2D\u6587(Unicode)到E4 B8 AD E6 96 87 (UTF) | E4 B8 AD E6 96 87 (UTF) |
ISO-8859-1 | D6 D0 CE C4 (GB2312) | 從\u00D6\u00D0\u00CE\u00C4 (Unicode)到C3 96 C3 90 C3 8E C3 84 (UTF) | C3 96 C3 90 C3 8E C3 84 (UTF) |
無(默認=file.encoding) | 同ISO-8859-1 | 同ISO-8859-1 | 同ISO-8859-1 |
Servlet:從源文件到Class的過程
Servlet源文件是以“.java”結尾的文本文件。本節將討論Servlet的編譯過程并跟蹤其中的中文變化。
用“javac”編譯Servlet源文件。javac可以帶“-encoding Compile-charset>”參數,意思是“用 Compile-charset >中指定的編碼來解釋Serlvet源文件”。
源文件在編譯時,用Compile-charset>來解釋所有字符,包括中文字符和ASCII字符。然后把字符常量轉變成Unicode字符,最后,把Unicode轉變成UTF。
在Servlet中,還有一個地方設置輸出流的CharSet。通常在輸出結果前,調用HttpServletResponse的setContentType方法來達到與在JSP中設置Jsp-charset>一樣的效果,稱之為Servlet-charset>。
注意,文中一共提到了三個變量:Jsp-charset>、Compile-charset>和Servlet-charset>。其中,JSP文件只與Jsp-charset>有關,而Compile-charset>和Servlet-charset>只與Servlet有關。
看下例:
import javax.servlet.*;
import javax.servlet.http.*;
class testServlet extends HttpServlet
{
public void doGet(HttpServletRequest req,HttpServletResponse resp)
throws ServletException,java.io.IOException
{
resp.setContentType("text/html; charset=GB2312");
java.io.PrintWriter out=resp.getWriter();
out.println("html>");
out.println("#中文#");
out.println("/html>");
}
}
該文件也是用UltraEdit for Windows編寫的,其中的“中文”兩個字保存為“D6 D0 CE C4”(GB2312編碼)。
開始編譯。下表是Compile-charset>不同時,CLASS文件中“中文”兩字的十六進制碼。在編譯過程中,Servlet-charset>不起任何作用。Servlet-charset>只對CLASS文件的輸出產生影響,實際上是Servlet-charset>和Compile-charset>一起,達到與JSP文件中的Jsp-charset>相同的效果,因為Jsp-charset>對編譯和CLASS文件的輸出都會產生影響。
表3 “中文”從Servlet源文件到Class的轉變過程
Compile-charset | Servlet源文件中 | Class文件中 | 等效的Unicode碼 |
GB2312 | D6 D0 CE C4 (GB2312) | E4 B8 AD E6 96 87 (UTF) | \u4E2D\u6587 (在Unicode中=“中文”) |
ISO-8859-1 | D6 D0 CE C4 (GB2312) | C3 96 C3 90 C3 8E C3 84 (UTF) | \u00D6 \u00D0 \u00CE \u00C4 (在D6 D0 CE C4前面各加了一個00) |
無(默認) | D6 D0 CE C4 (GB2312) | 同ISO-8859-1 | 同ISO-8859-1 |
序號 | 步驟說明 | 結果 |
1 | 編寫JSP源文件,且存為GB2312格式 | D6 D0 CE C4 (D6D0=中 CEC4=文) |
2 | jspc把JSP源文件轉化為臨時JAVA文件,并把字符串按照GB2312映射到Unicode,并用UTF格式寫入JAVA文件中 | E4 B8 AD E6 96 87 |
3 | 把臨時JAVA文件編譯成CLASS文件 | E4 B8 AD E6 96 87 |
4 | 運行時,先從CLASS文件中用readUTF讀出字符串,在內存中的是Unicode編碼 | 4E 2D 65 87(在Unicode中4E2D=中 6587=文) |
5 | 根據Jsp-charset=GB2312把Unicode轉化為字節流 | D6 D0 CE C4 |
6 | 把字節流輸出到IE中,并設置IE的編碼為GB2312(作者按:這個信息隱藏在HTTP頭中) | D6 D0 CE C4 |
7 | IE用“簡體中文”查看結果 | “中文”(正確顯示) |
序號 | 步驟說明 | 結果 |
1 | 編寫JSP源文件,且存為GB2312格式 | D6 D0 CE C4 (D6D0=中 CEC4=文) |
2 | jspc把JSP源文件轉化為臨時JAVA文件,并把字符串按照ISO8859-1映射到Unicode,并用UTF格式寫入JAVA文件中 | C3 96 C3 90 C3 8E C3 84 |
3 | 把臨時JAVA文件編譯成CLASS文件 | C3 96 C3 90 C3 8E C3 84 |
4 | 運行時,先從CLASS文件中用readUTF讀出字符串,在內存中的是Unicode編碼 | 00 D6 00 D0 00 CE 00 C4 (啥都不是!?。。?/TD> |
5 | 根據Jsp-charset=ISO8859-1把Unicode轉化為字節流 | D6 D0 CE C4 |
6 | 把字節流輸出到IE中,并設置IE的編碼為ISO8859-1(作者按:這個信息隱藏在HTTP頭中) | D6 D0 CE C4 |
7 | IE用“西歐字符”查看結果 | 亂碼,其實是四個ASCII字符,但由于大于128,所以顯示出來的怪模怪樣 |
8 | 改變IE的頁面編碼為“簡體中文” | “中文”(正確顯示) |
序號 | 步驟說明 | 結果 |
1 | 編寫JSP源文件,且存為GB2312格式 | D6 D0 CE C4 (D6D0=中 CEC4=文) |
2 | jspc把JSP源文件轉化為臨時JAVA文件,并把字符串按照ISO8859-1映射到Unicode,并用UTF格式寫入JAVA文件中 | C3 96 C3 90 C3 8E C3 84 |
3 | 把臨時JAVA文件編譯成CLASS文件 | C3 96 C3 90 C3 8E C3 84 |
4 | 運行時,先從CLASS文件中用readUTF讀出字符串,在內存中的是Unicode編碼 | 00 D6 00 D0 00 CE 00 C4 |
5 | 根據Jsp-charset=ISO8859-1把Unicode轉化為字節流 | D6 D0 CE C4 |
6 | 把字節流輸出到IE中 | D6 D0 CE C4 |
7 | IE用發出請求時的頁面的編碼查看結果 | 視情況而定。如果是簡體中文,則能正確顯示,否則,需執行表5中的第8步 |
序號 | 步驟說明 | 結果 |
1 | 編寫Servlet源文件,且存為GB2312格式 | D6 D0 CE C4 (D6D0=中 CEC4=文) |
2 | 用javac –encoding GB2312把JAVA源文件編譯成CLASS文件 | E4 B8 AD E6 96 87?。║TF) |
3 | 運行時,先從CLASS文件中用readUTF讀出字符串,在內存中的是Unicode編碼 | 4E 2D 65 87 (Unicode) |
4 | 根據Servlet-charset=GB2312把Unicode轉化為字節流 | D6 D0 CE C4 (GB2312) |
5 | 把字節流輸出到IE中并設置IE的編碼屬性為Servlet-charset=GB2312 | D6 D0 CE C4 (GB2312) |
6 | IE用“簡體中文”查看結果 | “中文”(正確顯示) |
序號 | 步驟說明 | 結果 |
1 | 編寫Servlet源文件,且存為GB2312格式 | D6 D0 CE C4 (D6D0=中 CEC4=文) |
2 | 用javac –encoding ISO8859-1把JAVA源文件編譯成CLASS文件 | C3 96 C3 90 C3 8E C3 84 (UTF) |
3 | 運行時,先從CLASS文件中用readUTF讀出字符串,在內存中的是Unicode編碼 | 00 D6 00 D0 00 CE 00 C4 |
4 | 根據Servlet-charset=ISO8859-1把Unicode轉化為字節流 | D6 D0 CE C4 |
5 | 把字節流輸出到IE中并設置IE的編碼屬性為Servlet-charset=ISO8859-1 | D6 D0 CE C4 (GB2312) |
6 | IE用“西歐字符”查看結果 | 亂碼(原因同表5) |
7 | 改變IE的頁面編碼為“簡體中文” | “中文”(正確顯示) |
序號 | 步驟說明 | 結果 | 域 |
1 | 在IE中輸入“中文” | D6 D0 CE C4 | IE |
2 | IE把字符串轉變成UTF,并送入傳輸流中 | E4 B8 AD E6 96 87 | |
3 | Servlet接收到輸入流,用readUTF讀取 | 4E 2D 65 87(unicode) | Servlet |
4 | 編程者在Servlet中必須把字符串根據GB2312還原為字節流 | D6 D0 CE C4 | |
5 | 編程者根據數據庫內碼ISO8859-1生成新的字符串 | 00 D6 00 D0 00 CE 00 C4 | |
6 | 把新生成的字符串提交給JDBC | 00 D6 00 D0 00 CE 00 C4 | |
7 | JDBC檢測到數據庫內碼為ISO8859-1 | 00 D6 00 D0 00 CE 00 C4 | JDBC |
8 | JDBC把接收到的字符串按照ISO8859-1生成字節流 | D6 D0 CE C4 | |
9 | JDBC把字節流寫入數據庫中 | D6 D0 CE C4 | |
10 | 完成數據存儲工作 | D6 D0 CE C4 數據庫 | |
以下是從數據庫中取出數的過程 | |||
11 | JDBC從數據庫中取出字節流 | D6 D0 CE C4 | JDBC |
12 | JDBC按照數據庫的字符集ISO8859-1生成字符串,并提交給Servlet | 00 D6 00 D0 00 CE 00 C4 (Unicode) | |
13 | Servlet獲得字符串 | 00 D6 00 D0 00 CE 00 C4 (Unicode) | Servlet |
14 | 編程者必須根據數據庫的內碼ISO8859-1還原成原始字節流 | D6 D0 CE C4 | |
15 | 編程者必須根據客戶端字符集GB2312生成新的字符串 | 4E 2D 65 87 (Unicode) | |
Servlet準備把字符串輸出到客戶端 | |||
16 | Servlet根據<Servlet-charset>生成字節流 | D6D0 CE C4 | Servlet |
17 | Servlet把字節流輸出到IE中,如果已指定<Servlet-charset>,還會設置IE的編碼為<Servlet-charset> | D6 D0 CE C4 | |
18 | IE根據指定的編碼或默認編碼查看結果 | “中文”(正確顯示) | IE |