為啥需要Unicode

      我們知道計算機其實挺笨的,它只認識0101這樣的字符串,當然了我們看這樣的01串時肯定會比較頭暈的,所以很多時候為了描述簡單都用十進制,十六進制,八進制表示.實際上都是等價的,沒啥太多不一樣.其他啥文字圖片之類的其他東東計算機不認識.那為了在計算機上表示這些信息就必須轉換成一些數字.你肯定不能想怎么轉換就怎么轉,必須得有定些規則.于是剛開始的時候就有ASCII字符集(American Standard Code for Information Interchange， "美國信息交換標準碼),它使用7 bits來表示一個字符,總共表示128個字符,我們一般都是用字節(byte,即8個01串)來作為基本單位.那么怎么當用一個字節來表示字符時第一個bit總是0,剩下的七個字節就來表示實際內容.后來IBM公司在此基礎上進行了擴展，用8bit來表示一個字符，總共可以表示256個字符.也就是當第一個bit是0時仍表示之前那些常用的字符.當為1時就表示其他補充的字符.

        英文字母再加一些其他標點字符之類的也不會超過256個.一個字節表示主足夠了.但其他一些文字不止這么多 ,像漢字就上萬個.于是又出現了其他各種字符集.這樣不同的字符集交換數據時就有問題了.可能你用某個數字表示字符A,但另外的字符集又是用另外一個數字表示A.這樣交互起來就麻煩了.于是就出現了Unicode和ISO這樣的組織來統一制定一個標準,任何一個字符只對應一個確定的數字.ISO取的名字叫UCS(Universal Character Set),Unicode取的名字就叫unicode了.

      總結起來為啥需要Unicodey就是為了適應全球化的發展,便于不同語言之間的兼容交互,而ASCII不再能勝任此任務了.

Unicode詳細介紹

1.容易產生后歧義的兩字節

        unicode的第一個版本是用兩個字節(16bit)來表示所有字符

        .實際上這么說容易讓人產生歧義,我們總覺得兩個字節就代表保存在計算機中時是兩個字節.于是任何字符如果用unicode表示的話保存下來都占兩個字節.其實這種說法是錯誤的.

     其實Unicode涉及到兩個步驟,首先是定義一個規范,給所有的字符指定一個唯一對應的數字,這完全是數學問題,可以跟計算機沒半毛錢關系.第二步才是怎么把字符對應的數字保存在計算機中,這才涉及到實際在計算機中占多少字節空間.

     所以我們也可以這樣理解,Unicode是用0至65535之間的數字來表示所有字符.其中0至127這128個數字表示的字符仍然跟ASCII完全一樣.65536是2的16次方.這是第一步.第二步就是怎么把0至65535這些數字轉化成01串保存到計算機中.這肯定就有不同的保存方式了.于是出現了UTF(unicode transformation format),有UTF-8,UTF-16.

2.UTF-8 與UTF-16的區別

    UTF-16比較好理解,就是任何字符對應的數字都用兩個字節來保存.我們通常對Unicode的誤解就是把Unicode與UTF-16等同了.但是很顯然如果都是英文字母這做有點浪費.明明用一個字節能表示一個字符為啥整兩個啊.

   于是又有個UTF-8,這里的8非常容易誤導人,8不是指一個字節,難道一個字節表示一個字符?實際上不是.當用UTF-8時表示一個字符是可變的,有可能是用一個字節表示一個字符,也可能是兩個,三個.當然最多不能超過3個字節了.反正是根據字符對應的數字大小來確定.

   于是UTF-8和UTF-16的優劣很容易就看出來了.如果全部英文或英文與其他文字混合,但英文占絕大部分,用UTF-8就比UTF-16節省了很多空間.而如果全部是中文這樣類似的字符或者混合字符中中文占絕大多數.UTF-16就占優勢了,可以節省很多空間.另外還有個容錯問題,等會再講

  看的有點暈了吧,舉個例子.假如中文字"漢"對應的unicode是6C49(這是用十六進制表示,用十進制表示是27721為啥不用十進制表示呢?很明顯用十六進制表示要短點.其實都是等價的沒啥不一樣.就跟你說60分鐘和1小時一樣.).你可能會問當用程序打開一個文件時我們怎么知道那是用的UTF-8還是UTF-16啊.自然會有點啥標志,在文件的開頭幾個字節就是標志.

EF BB BF 表示UTF-8

FE FF 表示UTF-16.

用UTF-16表示"漢"

假如用UTF-16表示的話就是01101100   01001001(共16 bit,兩個字節).程序解析的時候知道是UTF-16就把兩個字節當成一個單元來解析.這個很簡單.

用UTF-8表示"漢"

用UTF-8就有復雜點.因為此時程序是把一個字節一個字節的來讀取,然后再根據字節中開頭的bit標志來識別是該把1個還是兩個或三個字節做為一個單元來處理.

0xxxxxxx,如果是這樣的01串,也就是以0開頭后面是啥就不用管了XX代表任意bit.就表示把一個字節做為一個單元.就跟ASCII完全一樣.

110xxxxx 10xxxxxx.如果是這樣的格式,則把兩個字節當一個單元

1110xxxx 10xxxxxx 10xxxxxx 如果是這種格式則是三個字節當一個單元.

這是約定的規則.你用UTF-8來表示時必須遵守這樣的規則.我們知道UTF-16不需要用啥字符來做標志,所以兩字節也就是2的16次能表示65536個字符.

而UTF-8由于里面有額外的標志信息,所有一個字節只能表示2的7次方128個字符,兩個字節只能表示2的11次方2048個字符.而三個字節能表示2的16次方,65536個字符.

由于"漢"的編碼27721大于2048了所有兩個字節還不夠,只能用三個字節來表示.

所有要用1110xxxx 10xxxxxx 10xxxxxx這種格式.把27721對應的二進制從左到右填充XXX符號(實際上不一定從左到右,也可以從右到左,這是涉及到另外一個問題.等會說.

剛說到填充方式可以不一樣,于是就出現了Big-Endian,Little-Endian的術語.Big-Endian就是從左到右,Little-Endian是從右到左.

由上面我們可以看出UTF-8需要判斷每個字節中的開頭標志信息,所以如果一當某個字節在傳送過程中出錯了,就會導致后面的字節也會解析出錯.而UTF-16不會判斷開頭標志,即使錯也只會錯一個字符,所以容錯能力強.

Unicode版本2

    前面說的都是unicode的第一個版本.但65536顯然不算太多的數字,用它來表示常用的字符是沒一點問題.足夠了,但如果加上很多特殊的就也不夠了.于是從1996年開始又來了第二個版本.用四個字節表示所有字符.這樣就出現了UTF-8,UTF16,UTF-32.原理和之前肯定是完全一樣的,UTF-32就是把所有的字符都用32bit也就是4個字節來表示.然后UTF-8,UTF-16就視情況而定了.UTF-8可以選擇1至8個字節中的任一個來表示.而UTF-16只能是選兩字節或四字節..由于unicode版本2的原理完全是一樣的,就不多說了.

前面說了要知道具體是哪種編碼方式,需要判斷文本開頭的標志,下面是所有編碼對應的開頭標志

EF BB BF　　　 UTF-8FE FF　　　　　UTF-16/UCS-2, little endianFF FE　　　　　UTF-16/UCS-2, big endianFF FE 00 00　　UTF-32/UCS-4, little endian.00 00 FE FF　　UTF-32/UCS-4, big-endian.

其中的UCS就是前面說的ISO制定的標準,和Unicode是完全一樣的,只不過名字不一樣.ucs-2對應utf-16,ucs-4對應UTF-32.UTF-8是沒有對應的UCS

ANSI又是啥

“ANSI編碼”只存在于Windows系統。

那么Windows系統是如何區分ANSI背后的真實編碼的呢？

微軟用一個叫“Windows code pages”（在命令行下執行chcp命令可以查看當前code page的值）的值來判斷系統默認編碼，比如：簡體中文的code page值為936（它表示GBK編碼，win95之前表示GB2312，詳見：Microsoft Windows' Code Page 936），繁體中文的code page值為950（表示Big-5編碼）。

我們能否通過修改Windows code pages的值來改變“ANSI編碼”呢？

命令提示符下，我們可以通過chcp命令來修改當前終端的active code page，例如：(1) 執行：chcp 437，code page改為437，當前終端的默認編碼就為ASCII編碼了（漢字就成亂碼了）；(2) 執行：chcp 936，code page改為936，當前終端的默認編碼就為GBK編碼了（漢字又能正常顯示了）。上面的操作只在當前終端起作用，并不會影響系統默認的“ANSI編碼”。（更改命令行默認codepage參看：設置cmd的codepage的方法）。

Windows下code page是根據當前系統區域（locale）來設置的，要想修改系統默認的“ANSI編碼”，我們可以通過修改系統區域來實現（“控制面板” =>“時鐘、語言和區域”=>“區域和語言”=>“管理”=>“更改系統區域設置...”）：圖中的系統locale為簡體中文，意味著當前“ANSI編碼”實際是GBK編碼。當你把它改成Korean(Korea)時，“ANSI編碼”實際是EUC-KR編碼，“???”就能正常顯示了；當你把它改成English(US)時，“ANSI編碼”實際是ASCII編碼，“漢字”和“???”都成亂碼了。（改了之后需要重啟系統的。。。）

說明：locale是國際化與本地化中重要的概念，本文不深入講解該內容。

你上面說的都是windows的情形吧，linux呢？

將前述內容為“漢字”的文件test.txt拷貝至Linux下，用Emacs打開：也是亂碼！原因也是locale的問題：更改locale后再打開：正常顯示了。。。