文書の過去の版を表示しています。
目次
文字コード
文字コードとは、コンピュータが文字を識別するために、文字を数値(ビット列)に変換するルール(文字と数値の対応づけ)のこと。厳密には、文字の集合を定義する「文字セット」と、それをバイト列に変換する「エンコーディング(文字符号化方式)」に分けて考えるが、一般的にはこれらをまとめて「文字コード」と呼ぶことが多い。
ASCII
1960年代、先の技術(タイプライターやテレタイプ)を踏襲するかたちで、アメリカ規格協会(ASA、現在のANSI)によりASCII(American Standard Code for Information Interchange)が開発された。
ASCIIは128文字の文字セットを使用し、7ビットのエンコーディングを採用している。これにより英数字と基本的な記号を表現でき、コンピュータで広く利用されるようになった。
1963年の初版では英語の大文字と少数の基本記号しか表現できなかったが、1967年の改定で小文字が追加された。その後、各国語に対応するためさまざまな拡張ASCIIが登場する。
拡張ASCII
7ビットのASCII文字セットを8ビットに拡張して使用する一連の文字コード。これにより表現できる文字数が128文字から256文字に拡大された。
しかし、地域やベンダーごとに独自の拡張が行われたため、異なる拡張ASCII間では互換性がない。1990年代に入ると、これらの問題を解決するためにUnicodeが開発される。
Unicode
世界中の文字を収録し、統一的に扱うための文字セット規格。現在、Unicodeはウェブページや多くのプログラミング言語、テキストファイルの標準として受け入れられている。
Unicodeのエンコーディング形式
同じUnicodeの文字セットに対して、バイト列への変換方法(エンコード形式)がいくつか存在する。その中でも特にUTF-8が主流として広く使用されている。
UTF-8
1〜4バイトの可変長エンコーディング。
ASCII文字は1バイト、日本語(ひらがな・カタカナ・一般的な漢字)は主に3バイト、絵文字や一部の珍しい漢字は4バイトでエンコードされる。Web、Linux、macOSの標準文字コードであり、現在の事実上の世界標準となっている。
UTF-8はASCIIと完全に互換性があるため、従来のASCIIテキストファイルは変更なしにUTF-8としても正しく解釈される。
UTF-16
2バイトまたは4バイトの可変長エンコーディング。
一般的な日本語や英数字の多くを2バイトで表現する(一部の漢字や絵文字は「サロゲートペア」と呼ばれる仕組みで4バイトになる)。Windowsの内部処理や、Java、JavaScriptなどのプログラミング言語内部で採用されている。
※バイトの並び順(エンディアン)の違いにより「UTF-16LE」と「UTF-16BE」があり、識別のため先頭にBOM(Byte Order Mark)を付けることがある。
UTF-32
4バイトの固定長エンコーディング。
Unicodeのすべての文字を常に4バイトで表現する。文字の位置計算が単純になる利点がある一方、他のエンコーディング方式に比べてデータサイズが大きくなるため、用途は限定的。
Shift_JIS(シフトJIS)
日本語を含む文字列を表現するために用いられる文字コード。1997年に「JIS X 0208」の附属書として標準化された。1バイト(ASCII・半角カナ)と2バイト(日本語)の可変長エンコーディング。
※「ソ」「能」「表」などの文字は、2バイト目にASCIIのバックスラッシュ(`\` / `0x5C`)と同じコードを含むため、プログラム上でエスケープ文字と誤認される問題(いわゆる「ダメ文字」「5C問題」)が起きることがある。
CP932
Shift_JISの亜種(拡張版)。CP932(Microsoftコードページ932)は、MicrosoftがShift_JISに丸付き数字(①②)や人名用漢字(髙・﨑)などを独自に追加した文字コード。Windowsの日本語環境で標準的に使用されてきた。
CP932のその他の呼称
「Windows-31J」「MS932」などがある(最終形の「CP932」と同一の内容)。
EUC-JP(日本語EUC)
UNIXやLinuxの標準的な日本語文字コードとして使用されてきた。ウェブサーバーにUNIX系OSが多く用いられていたことから、日本語ウェブサイトではShift_JISと並んで広く使われていたが、2000年代中頃からUTF-8への移行が進んだ。
ASCIIは1バイト、日本語や半角カナは2バイト、補助漢字は3バイトの可変長エンコーディング。
ISO-2022-JP(JISコード)
7ビットの範囲で日本語を表現するための文字コード。エスケープシーケンス(制御文字)を使って「英数字モード」と「日本語モード」を切り替えながら表現する。
かつて電子メールの転送経路が7ビットしか通せなかった時代の名残から、日本語メールの標準文字コードとして長く使われてきた(現在はUTF-8が主流)。
ANSI
コンピュータの文字コードにおいて「ANSI」と言う場合、Windowsにおけるその地域のローカルな文字コードを指す(米国規格協会のANSI規格そのものではない)。
国や地域ごとに異なるエンコーディングが割り当てられており、日本語版Windowsでは「CP932」を指す。なお、Windows 10以降はシステム設定によりUTF-8を使用するオプションも登場している。
主な文字コードの比較
| 文字コード | 長さの種類 | 日本語のバイト数 | 主な用途・特徴 |
|---|---|---|---|
| ASCII | 固定長 | (非対応) | 英数字・記号の基本(1バイト) |
| UTF-8 | 可変長 | 主に3バイト | Web・Linux・macOS・現在の標準 |
| UTF-16 | 可変長 | 主に2バイト | Windows内部・Java・JavaScript |
| UTF-32 | 固定長 | 4バイト | データサイズ大・限定用途 |
| Shift_JIS | 可変長 | 2バイト | 旧来の日本語PC・CSV等 |
| CP932 | 可変長 | 2バイト | Windows版Shift_JIS(機種依存文字対応) |
| EUC-JP | 可変長 | 2バイト(補助3) | 旧来のUNIX/Linux・Webサーバー |
| ISO-2022-JP | 可変長 | 2バイト+制御文字 | 旧来の日本語メール(7ビット) |
—-

