中日韓越統一表意文字

中日韓越統一表意文字

中日韓越統一表意文字(CJKV Unified Ideographs),目的是要把分別來自中文、日文、韓文中,本質相同、形狀一樣或稍異的表意文字(主要為漢字,但也有仿漢字如日本國字、韓國獨有漢字)於ISO 10646及Unicode標準內賦予相同編碼。越南文後來亦加入此計劃,所以亦有“CJKV”的稱呼。Unicode亦開始收錄其仿漢字-喃字。

概況


中日韓越統一表意文字(英語: CJKV Unified Ideographs),舊稱 中日韓統一表意文字(英語: CJKUnified Ideographs),也稱 統一漢字(英語: Unihan),目的是要把分別來自中文、日文、韓文、越文壯文中,對於相同起源、本義相同、形狀一樣或稍異的表意文字主要為漢字,但也有仿漢字如:方塊壯字、日文漢字(かんじ / kanji)、韓文漢字(한자 / hanja)、越南的喃字(Chữ Nôm)與越文漢字[漢字/Hán Tự,在越南也稱作儒字(儒/Chữ Nho)],應賦予其在ISO 10646及統一碼標準中有相同編碼。此計劃原本只包含中文、日文及韓文中所使用的漢字,是以舊稱中日韓統一表意文字(CJK)。後來,此計劃加入了越文的喃字,所以合稱中日韓越統一表意文字(CJKV)。

歷史沿革


1978 年,日本基於ISO 2022,制訂了全世界最早的漢字編碼 JIS C6226。1980年代,中國大陸、台灣、韓國則各自製訂了自己的規範。這些規範彼此之關並無關聯。若要在一份文件中同時使用,則要以脫序字元的方式來交換。
1980 年,日本的國立國會圖書館的高橋德太郎以圖書學的觀點指出,一個統一的東亞漢字編碼系統是有必要的。同年,台灣制定了三位元組的中文信息交換碼。偶然的是,這是第一個期望可以一致處理中國大陸、日本、台灣漢字的編碼。之後,美國的國會圖書館採用了此規格,並另外命名為東亞編碼字元(EastAsia Coded Character,EACC,ANSI/NISOZ39.64)。
1984年,ISO 的文字編碼委員會(ISO/TC97/SC2)決議制訂出一套編碼規格(ISO10646),是以交換文字集的方式來統一處理世界的文字。並成立了工作小組(ISO/TC97/SC 2/ WG 2)。這個編碼一開始的構想是採用16位,而對於日本及中國等國的漢字編碼則原封不動地加入。但若如此,中國當時所制訂的編碼都無法加入,因而反對。並於1989年,提出了各國的漢字統合集合(HanCharacter Collection,HCC)的構想。
1990年完成了 ISO10646 的初版草案(DIS10646)。漢字使用32 位來表示。並將各國的漢字編碼原封不動地加入。但中國認為,若各國各自為漢字編碼,將不利於統一處理漢字,因而反對。為了日後關於漢字編碼的討論及方針能順利進行,並呼籲WG 2 特別設置了中日韓聯合研究小組(CJK-JRG,JointResearch Group,為表意文字小組的前身),以持續討論。
另一方面,1987年,全錄的 JoeBecker 和Lee Collins 開發了統合處理全世界所有文字的統一碼。1989年發表了統一碼概要。基本為 16 位。於是,中、日、韓文字統合了。基本方針為以16 位處理所有文字。 1990年,完成了基於此方針的最終草案。來年1991年1月,大致同意此方案的企業成立了統一碼聯盟。中、日、韓中類似的漢字使用約二萬多個字。為了未來擴充,保留了三萬個漢字以供其它用途。
1991年,各國希望能以一致的方式處理文字,如統一碼這般,因而否決了ISO/IEC 10646 的初版草案。基於中國與統一碼聯盟的提議,ISO10646 和統一碼成立了中日韓聯合研究小組。中日韓聯合研究小組將基於各國的漢字編碼,獨自訂定規範、製作ISO 10646 和統一碼的統一漢字編碼。年尾,完成了UnifiedRepertoire and Ordering (URO)。
1992年,URO 加入 ISO10646 的第二版。但是,發現了一些缺失,之後進行了修正。
1993年5月,正式制訂了最初的中日韓統一表意文字,位於U+4E00–U+9FFF 這個區域,共20,902 個字。一個月後,制訂了統一碼1.1。
1999年,依據 ISO/IEC10646 的第17 個修正案(Amendment17)訂定了擴充區 A ,於U+3400–U+4DFF 加入了6,582 個字。
2001年,依據 ISO/IEC10646-2,新增了擴充區B ,有 42,711 字。位於U+20000–U+2A6FF。但因在短時間內增加了大量的漢字,導致產生了許多重複的字形。
2005年,依據 ISO/IEC10646:2003 的第1 個修正案(Amendment1),基本多文種平面增加了 U+9FA6 到 U+9FBB 等 22 個漢字。
2009年,統一碼 5.2 擴充區 C 增加了U+2A700-U+2B734 和U+9FC4~U+9FCB。
2010年,統一碼 6.0 擴充區 D 增加了U+2B740-U+2B81F。
2012年,1字增加 U+9FCC。

字源


最初期統一漢字
最初期的統一漢字(20,902字)字源來自以下字集:
中國大陸的G源
G0:GB 2312-80:6,763字
G1:GB 12345-90:2,352字(含58個香港字和2個吏讀字,不包括和G0重覆的字)
G3:GB 7589-87:7,237字
G5:GB 7590-87:7,039字
G7:現代漢語通用字表:642(G0, 1, 3, 5, 8未包括的字)
G8:GB 8565-89:290字(G0, 1, 3, 5未包括的字)
台灣的T源
T1:CNS 11643-1986第一字面:5,401+9字(含9個計量用漢字)
T2:CNS 11643-1986第二字面:7,650字
TE:CNS 11643-1986第十四字面:6,319+239+10(含239個CCCII特字和10個XCCS特字)
日本的J源
J1:JIS X 0208-90:6,335+1字
J2:JIS X 0212-90:5,801字
韓國的K源
K0:KS C 5601-87:4,888字(含268個重見字)
K1:KS C 5657-91:2,856字
以上的來源字集會實施字源分離原則。
另外還有:ANSI Z39.64-1989(EACC)、Big5、CCCII第一面、GB 12052-89、JEF、中國大陸電報碼、台灣電報碼、Xerox Chinese。這些來源字集不會實施字源分離原則。
很多人以為20,902統一漢字中來自台灣的只是Big5的一萬三千多字,其實不然.
擴展A區
擴展A區包含有6,582個新的漢字,位置在 U+3400—U+4DB5。相比起最初期統一漢字,擴展A區多了來自多個來自中國大陸、台灣、新加坡等漢字。
這6千多個漢字分別從以下字典或字集中取得:中國大陸 《康熙字典》5357字(獨有1892字)
漢語大字典》5888字(獨有339字)
G3:GB 7589-87 繁體字:2391字
G5:GB 7590-87 繁體字:1226字
G7:120字 GS:新加坡漢字226字 台灣 T3:CNS 11643-1992 第三字面(原本為CNS 11643-1986第十四字面)新加入字元
T4:CNS 11643-1992 第四字面
T5:CNS 11643-1992 第五字面
T6:CNS 11643-1992 第六字面
T7:CNS 11643-1992 第七字面
TF:CNS 11643-1992 第十五字面
日本 JA: Unified Japanese IT Vendors Contemporary Ideographs, 1993
南韓 K2:PKS C 5700-1:1994 K3:PKS C 5700-2:1994
越南 V0:TCVN 5773:1993 V1:TCVN 6056:1995
擴展B區
擴展B區包含有42,711個新的漢字,位置在 U+20000—U+2A6D6。根據ISO/IEC JTC1/SC2/WG2/IRG N777號文件,這四萬多個漢字分別從以下字典或字集中取得:
CNS 11643的第4平面到第15平面所收錄的30,177個漢字;
在《漢語大字典》中出現的28,914個未收錄漢字;
在《康熙字典》中出現的18,486個未收錄漢字(包括一個在補遺篇出現漢字);
在北朝鮮的國家標準所收錄的5,642個漢字;
在越南的國家標準所收錄的4,232個字喃;
HKSCS中出現的1,081個未收錄漢字;
漢語大詞典》中出現的553個未收錄漢字;
四庫全書》中出現的522個未收錄漢字;
日本工業標準的JIS X 0213第3平面及第4平面的302個未收錄漢字;
1980年代版本的《辭海》中出現的247個未收錄漢字;
大韓民國PKS 5700-3:1998中出現的166個未收錄漢字;
中國大百科全書》中出現的86個未收錄漢字;
辭源》中出現的66個未收錄漢字;
北大方正排版系統中出現的65個未收錄漢字;
這堆漢字中重複的漢字有不少,所以經過整理之後,總數實際上只有42,711個漢字。
另外,在 U+2F800—U+2FA1D 的位置,放了542個來自台灣的兼容漢字。
Unicode 4.1漢字
為使 Unicode 向下兼容 GB 18030 和香港增補字符集(HKSCS)的所有漢字,而擴展C區又遲遲未能出籠,在 Unicode 4.1 版中引進了14個香港增補字符集的用字和8個 GB 18030 用字。該22字被編於 U+9FA6—U+9FBB 的位置。
另外,在 U+FA70—U+FAD9 的位置,放了106個來自北朝鮮的兼容漢字。
擴展C區按計劃,中日韓統一表意文字擴展C區將收錄4,251個漢字,包括來自中國大陸、澳門、台灣、日本、越南等尚未被編碼的漢字。這些漢字預計會收錄在下一版的 Unicode 版本中,位置在 U+2A6E0—U+2B77A。
字源分離原則
字源分離原則(Source Separation Rule)是整理中日韓統一表意文字的基礎。
由於CJK各地字型多有微妙的差異,如“戶”字的第一筆,台灣作撇、中國大陸作點、日本作橫,這種程度的差異,理想上是整並為一個字為佳。然而,從之前各種受挫之文字整並計劃的經驗得知,整合字集與現行通用字集(Big5或國標碼)等無法一一對應,是推行整合字集的最大阻礙。
例如,日本的JIS標準同時收錄了“剣”字與“劍”字,原本JIS文件里這兩個字可以並存,但採用整合字集后反而變成同一個字,會造成使用上的困擾。於是,字源分離原則因而誕生。
字源分離原則是指,在上述所列出之各種字源里,若有任何字集同時收了兩種以上的文字字形,則在Unicode中日韓統一表意文字中,也同時收錄這些字。這樣一來,現行的各種原有字集與Unicode漢字可以一一對應。
由於Unicode中日韓統一表意文字的主要訴求,就是能大幅減少Unicode收錄漢字字數,同時尊重各地的習慣字形。但字源分離原則則破壞了“只對字,而不對字形”編碼之原則,亦遭受不少批評。
已統一的漢字原則上ISO 10646隻對字(Character),而非字形(Glyph)編碼。同一字各地可使用自己的標準寫法。下例中使用HTML標示同一編碼的字在不同地區中的寫法(但只是我的電腦提供的字型,未必代表該地區的標準寫法)。
擴展C區
於2009年10月發布的Unicode 5.2涵蓋了擴展C區,共收錄4,149個漢字,包括來自中國大陸、澳門、台灣、日本、越南等尚未被編碼的漢字。位置在 U+2A700—U+2B734。
擴展D區
擴充區D包含的都是所謂的「急用漢字」,合共222個新漢字,於2010年下旬發布的Unicode6.0中,編碼範圍為 U+2B740 至 U+2B81F(實際有字元為 U+2B740 至 U+2B81D)。
擴展D區原本計劃放置擴展C區未收錄的16,000多個漢字,但在2007年5月,台灣撤消了6,545個第二部分字集內私用漢字,不再使用字,原因是那些人名用字的擁有人或已去世或已移居外地,此後擴展D區縮減到大約10,000字左右。,由於各種阻礙,協議先把數量較少,又急切要收錄的漢字提交出來,就是「急用漢字」,以便和統一碼6.0.0版一起發表。提出的急用漢字只有二百二十二字(本來有二百二十三字,但中國大陸撤回其中一字)。現在文字小組把第二部分字集延後到擴充E區。

漢字


有些字只是同一字在不同地區的寫法,理應統一,但因為字源分離原則而只好分開編碼。值得注意的是字源分離原則由擴展A集 (Extension A) 開始已沒有使用,原因是CNS中有太多字形非常接近,按 Unicode 標準應該統一的字。這些字只有第一個會編入正式字集(包括Extension A,B,C) 中,其餘的編入位於第二輔助平面的表意文字補充兼容區 (Compatibility Ideographs Supplement) 中。
以下是所有摘自ISO/IEC JTC1/SC2/WG2字源分離原則文件之中有的字。
UnicodeUnicodeUnicode
U+4E1FU+4E22
U+4E48U+5E7A
U+4E89U+722D
U+4EDEU+4EED
U+4F75U+5002
U+4FA3U+4FB6
U+4FC1U+4FE3
U+4FDEU+516A
U+4FF1U+5036
U+5024U+503C
U+5077U+5078
U+507DU+50DE
U+514CU+5151
U+514EU+5154
U+5156U+5157
U+518AU+518C
U+51C0U+51C8
U+51E2U+51E3
U+5203U+5204
U+520AU+520B
U+5220U+522A
U+5225U+522B
U+5238U+52B5
U+5239U+524E
U+524FU+5259
U+525DU+5265
U+5292U+5294
U+52FBU+5300
U+5355U+5358
U+5373U+537D
U+5377U+5DFB
U+53C1U+53C2
U+53C3U+53C4
U+5415U+5442
U+541EU+5451
U+5433U+5434U+5449
U+5436U+5450
U+543FU+544A
U+5527U+559E
U+55A9U+55BB
U+5618U+5653
U+568FU+5694
U+56EFU+56FD
U+5708U+570F
U+570EU+5713
U+5716U+5717
U+5759U+5DE0
U+57D2U+57D3
U+5848U+588D
U+5861U+586B
U+5897U+589E
U+58EEU+58EF
U+58FDU+5900
U+5910U+657B
U+5932U+672C
U+5965U+5967
U+5968U+596CU+734E
U+5986U+599D
U+598DU+59F8
U+59CDU+59D7
U+59EBU+59EC
U+5A1BU+5A2FU+5A31
U+5A55U+5AAB
U+5A7EU+5AAE
U+5AAAU+5ABC
U+5AAFU+5B00
U+5B0EU+5B14
U+5B24U+5B37
U+5B73U+5B76
U+5BABU+5BAE
U+5BDBU+5BEC
U+5BDCU+5BE7
U+5BDDU+5BE2
U+5C02U+5C08
U+5C06U+5C07
U+5C13U+5C14
U+5C19U+5C1A
U+5C2AU+5C2B
U+5C36U+5C37
U+5C4FU+5C5B
U+5CE5U+5D22
U+5DD3U+5DD4
U+5E21U+5E32
U+5E2FU+5E36
U+5E76U+5E77
U+5EC4U+5ECF
U+5F11U+5F12
U+5F37U+5F3A
U+5F39U+5F3E
U+5F50U+5F51
U+5F54U+5F55
U+5F59U+5F5A
U+5F5BU+5F5C
U+5F5DU+5F5E
U+5F65U+5F66
U+5FB3U+5FB7
U+5FB4U+5FB5
U+6075U+60E0
U+6085U+60A6
U+609EU+60AE
U+60B3U+60EA
U+6120U+614D
U+613CU+614E
U+6229U+622C
U+622FU+6231
U+6236U+6237U+6238
U+623BU+623E
U+629BU+62CB
U+629CU+62D4
U+6329U+635D
U+633FU+63D2U+63F7
U+634FU+63D1
U+635CU+641C
U+63B2U+63ED
U+63FAU+6416U+6447
U+63FEU+6435
U+6483U+64CA
U+654EU+6559
U+6553U+655A
U+65E2U+65E3
U+6602U+663B
U+665AU+6669
U+66A8U+66C1
U+66FDU+66FE
U+67B4U+67FA
U+67E5U+67FB
U+67F5U+6805
U+68B2U+68C1
U+6961U+6986
U+6982U+69EA
U+6985U+69B2
U+699DU+6A27
U+69C7U+69D9
U+69D8U+6A23
U+6A2AU+6A6B
U+6B65U+6B69
U+6B72U+6B73
U+6B7F歿U+6B81歿
U+6BBBU+6BBC
U+6BC0U+6BC1
U+6BCEU+6BCF
U+6C32U+6C33
U+6C5AU+6C61
U+6C92U+6CA1
U+6D44U+6DE8
U+6D89U+6E09
U+6D97U+6D9A
U+6D99U+6DDA
U+6DE5U+6E0C
U+6DF8?#91;U+6E05
U+6E07U+6E34
U+6E29U+6EAB
U+6E88U+6F59
U+6E89U+6F11
U+6EDAU+6EFE
U+6F5BU+6FF3
U+7028U+702C
U+70BAU+7232
U+712DU+7162
U+7155U+7199
U+7174U+7185
U+72B6U+72C0
U+7464U+7476
U+74F6U+7501
U+7522U+7523
U+75E9U+7626
U+76A1U+76A5
U+771EU+771F
U+773EU+8846
U+7814U+784F
U+797F祿U+7984祿
U+79BF禿U+79C3禿
U+7A05U+7A0E
U+7A42U+7A57
U+7B5DU+7B8F
U+7BB3U+7C08
U+7BE1U+7C12
U+7CA4U+7CB5
U+7D55U+7D76
U+7DA0U+7DD1
U+7DD2U+7DD6
U+7DE3U+7E01
U+7DFCU+7E15
U+7E48U+7E66
U+7FAEU+7FB9
U+7FF6U+7FFA
U+80FCU+8141
U+812BU+8131
U+817DU+8183
U+8203U+8204
U+820DU+820E
U+8216U+8217
U+8358U+838A
U+83D1U+8458
U+8480U+8495
U+848BU+8523
U+848DU+853F
U+8570U+8580
U+85ABU+85B0
U+85F4U+860A
U+865AU+865B
U+86FBU+8715
U+885BU+885E
U+886EU+889E
U+88C5U+88DD
U+8A2EU+8A7D
U+8AAAU+8AAC
U+8ACCU+8AEB
U+8B20U+8B21
U+8C5CU+8C63
U+8D70U+8D71
U+8EFFU+8F27
U+8F1CU+8F3A
U+8F3CU+8F40
U+8FBEU+8FD6
U+8FF8U+902C
U+9059U+9065
U+90A2U+90C9
U+90CEU+90DE
U+90F7U+9109U+9115
U+9196U+919E
U+91A4U+91AC
U+9203U+9292
U+92B3U+92ED
U+9304U+9332
U+932CU+934A
U+93ADU+93AE
U+95B1U+95B2
U+9667U+9689
U+9751U+9752
U+9759U+975C
U+976DU+9771
U+9839U+983D
U+984FU+9854
U+985AU+985B
U+98EEU+98F2
U+9905U+9920
U+99B1U+99C4
U+99E2U+9A08
U+9AA9U+9AAB
U+9AD8U+9AD9
U+9AEAU+9AEE
U+9B2CU+9B2D
U+9C1BU+9C2E
U+9CEFU+9CF3
U+9D87U+9DAB
U+9DC6U+9DCF
U+9EAAU+9EAB
U+9EBCU+9EBD
U+9EC3U+9EC4
U+9ED1U+9ED2

問題


擴展B區使用了輔助平面來擺放漢字,以致不少字處理軟體都不能支持。例如,Microsoft Office2000 或之前的版本,即使計算機擁有擴展B區漢字字體,也只會顯示兩個方格。
另外,因擴展B區在整理上有缺陷,收錄了以下5個本來應該與其他漢字統一的字:
· U+20457 =U+34A8 㒨
· U+2420E =U+3DB7 㶷
· U+27144 =U+8641 虁
· U+23515 =U+204F2
· U+249E9 =U+249BC
而在 WG2 N1155 文件中,亦列出了152對可考慮統一的漢字。