テキスト規格の文字エンコーディング規約(Unicode・CSV・XML・JSON・YAML)

CSV・XML・JSON・YAML は、どれも「テキストファイル」でデータをやり取りするための形式です。
しかし、それぞれの仕様書が文字エンコーディングについて何を決めているのかは、形式ごとに大きく違います。
UTF-8 が必須の形式もあれば、文字エンコーディングを全く決めていない形式もあります。
BOM についても、「必須」の形式から「付けてはいけない」形式まで、扱いがバラバラです。

このページは、Unicode・CSV・XML・JSON・YAML の各公式仕様から、文字エンコーディングに関する規定を抜き出し、英語原文と日本語訳を並べた資料です。
「仕様書には実際に何と書いてあるのか」を確かめたいプログラマーや ITエンジニアの方を対象にしています。

仕様の規定を元に、実務でどう扱えば良いかをまとめた解説は、姉妹編の以下のページに書いています。
仕様の原文に興味が無い方は、こちらから読むことをお勧めします。

CSV・XML・JSON・YAML を扱うときの文字エンコーディング注意事項

(このページの内容は、2026年11月21日時点の各公式ページから取得した原文を元に書いています。仕様は改訂されることがありますので、最新の情報は各公式サイトで確認する事をお勧めします)

このページの読み方

日本語訳について

このページの日本語訳は、Claude に翻訳してもらった参考訳です。
規範的な効力を持つ正文は、あくまで英語原文です。
訳の正確さが問題になる場面では、必ず原文を確認してください。

原文の引用は > の引用ブロックで示し、その直後に日本語訳を置いています。
英文中の [...] は、私による省略です。
日本語訳は仕様書の文体に合わせて「〜である」調で書いています。

このページで扱う範囲

このページで扱うのは、各仕様の「文字エンコーディング」「BOM」「文字エンコーディングの識別方法」に関する規定だけです。
CSV の引用符の規則や、XML・JSON・YAML の構文そのものは扱いません。

また、「なぜ Windows では BOM 付き UTF-8 が使われるのか」といった歴史的な経緯も、ここでは解説しません。
この資料は、あくまで仕様書の規定を確認するための資料です。

用語の整理

仕様書の原文を読む前に、よく出てくる用語を整理しておきます。

文字エンコーディング

「文字コード」という言葉が一般的ですが、情報技術の世界では「文字エンコーディング」という呼び方が正しい表現です。
文字を、コンピュータが扱う具体的なバイト列に置き換える規則のことです。
仕様書の日本語訳では「文字符号化」と訳されることが多く、このページの訳もそれに従っています。

Unicode の仕様では、文字エンコーディングを次の段階に分けて定義しています。

用語(英語) 訳語 解説
Code Point コードポイント 文字に割り当てた番号。例えば「あ」は U+3042
Encoding Form 符号化形式 コードポイントを、8ビット・16ビット・32ビットの「符号単位」の並びに置き換える規則。UTF-8・UTF-16・UTF-32 の3つ
Encoding Scheme 符号化スキーム 符号化形式の符号単位を、実際の「バイト列」に並べる規則。バイト順(エンディアン)の違いで7種類ある

ファイルとして保存したり、ネットワークで送ったりするテキストは、最後の「符号化スキーム」で表されたバイト列です。
UTF-16 と UTF-16LE が別物として扱われるのは、この「符号化スキーム」の違いなのです。

BOM(バイト順マーク)

BOM とは、Byte Order Mark の略で、テキストの先頭に置く U+FEFF という特別な文字のことです。
本来は、UTF-16 や UTF-32 のバイト順(ビッグエンディアンかリトルエンディアンか)を示すために使われます。
UTF-8 にはバイト順の問題がありませんが、EF BB BF という3バイトの BOM を付けることができます。
UTF-8 の BOM は、バイト順ではなく「このテキストは UTF-8 である」という目印(シグネチャ)として働きます。

ビッグエンディアン・リトルエンディアンについては、深く理解する必要はありません。
「同じ UTF-16 でも、バイトの並べ方が2通りある」とだけ理解してください。

MUST・SHOULD・MAY

RFC など英語の仕様書では、規定の強さを MUST(しなければならない)、SHOULD(すべきである)、MAY(してもよい)などの決まった単語で表します。
これは RFC 2119 という文書で定義された書き方で、IETF の RFC では大文字で書かれます。
XML や Unicode の仕様では小文字で書かれることもありますが、意味は同じです。
このページの日本語訳では、重要な箇所に原語を括弧書きで添えています。

原語 訳 意味
MUST / REQUIRED しなければならない 守らなければ仕様違反
MUST NOT してはならない 行えば仕様違反
SHOULD / RECOMMENDED すべきである 特別な理由がなければ従う
MAY / OPTIONAL してもよい どちらでも仕様に適合する

仕様書を読むときは、この単語に注目すると規定の強さを読み間違えません。
特に「MAY(してもよい)」は「した方が良い」という意味ではないので、注意してください。

参照した仕様書

各形式の「正式な仕様書」は、検索で最初に見つかるページとは限りません。
特に JSON と YAML は、有名なページが仕様書本文ではないので注意が必要です。

規格 正式な仕様書 このページで参照した箇所
Unicode The Unicode Standard, Version 18.0.0 コア仕様(2026年9月公開) 第2章 2.6、第3章 3.10、第23章 23.8
CSV RFC 4180(IETF Informational、2005年10月) RFC 4180 第3節
XML XML 1.0 第5版(W3C 勧告、2008年11月26日) 2.2、4.3.3、付録F
JSON ECMA-404 第2版(2017年12月) ECMA-404 第2・4・9節
JSON RFC 8259(IETF STD 90、2017年12月) RFC 8259 8.1節・11節
YAML YAML 1.2.2(2021年10月1日、現行最新版) YAML 1.2.2 5.1、5.2、9.1.1

JSON だけ仕様書が2つあるのは、JSON の仕様が2本立てになっているからです。
ECMA-404 は JSON の文法だけを定め、文字エンコーディングはほとんど規定していません。
文字エンコーディングを実際に規定しているのは、IETF の RFC 8259 の方なのです。

また、次のページはよく参照されますが、仕様書の本文ではありません。

ページ 内容
json.org Douglas Crockford 氏による JSON の紹介ページ。文字エンコーディングの規定はない
yaml.org YAML の公式サイトのトップページ。仕様本文は yaml.org/spec/1.2.2/ にある
RFC 4180 日本語訳(tex2e) 自動翻訳を有志が編集した非公式訳。参考扱い

CSV の RFC 4180 は、2013年の RFC 7111 で更新されていますが、追加されたのは URI のフラグメント識別子の規定だけです。
文字エンコーディングに関する部分は、2005年の RFC 4180 のまま変わっていません。
RFC 4180 の改訂草案(draft-shafranovich-rfc4180-bis)も作られましたが、2024年8月の -07 を最後に更新が止まり、失効しています。

1. Unicode(The Unicode Standard, Version 18.0.0 コア仕様)

最初に、全ての形式の土台になる Unicode 自体の規定を確認します。

Unicode は、ファイルやネットワークでバイト列として交換されるテキストを「符号化スキーム(encoding scheme)」として定義し、7種類を定めています。
UTF-8 の BOM は「必須ではないが、付いていても仕様に適合する」という扱いです。
第23章には、「読み手は BOM を認識して捨て、書き手は指示が無い限り BOM を付けない」というガイドラインがあります。

1-1. 2.6 Encoding Schemes(符号化スキーム)

A character encoding scheme consists of a specified character encoding form plus a specification of how the code units are serialized into bytes. The Unicode Standard also specifies the use of an initial byte order mark (BOM) to explicitly differentiate big-endian or little-endian data in some of the Unicode encoding schemes.

文字符号化スキームは、特定の文字符号化形式と、その符号単位をバイト列に直列化する方法の規定とから構成される。Unicode 標準はまた、一部の Unicode 符号化スキームにおいて、ビッグエンディアンとリトルエンディアンのデータを明示的に区別するために、先頭にバイト順マーク(BOM)を用いることも規定している。

For UTF-8, the encoding scheme consists merely of the UTF-8 code units (= bytes) in sequence. Hence, there is no issue of big- versus little-endian byte order for data represented in UTF-8.

UTF-8 の符号化スキームは、UTF-8 の符号単位(=バイト)を並べたものにすぎない。したがって UTF-8 で表されたデータには、ビッグエンディアンかリトルエンディアンかというバイト順の問題は生じない。

Table 2-4. The Seven Unicode Encoding Schemes(Unicode の7つの符号化スキーム)

Encoding Scheme Endian Order BOM Allowed?
UTF-8 N/A yes
UTF-16 Big-endian or little-endian yes
UTF-16BE Big-endian no
UTF-16LE Little-endian no
UTF-32 Big-endian or little-endian yes
UTF-32BE Big-endian no
UTF-32LE Little-endian no

この表で注目すべきなのは、UTF-16BE・UTF-16LE には BOM が「付けられない」ことです。
Windows では「BOM 付きの UTF-16 リトルエンディアン」を「UTF-16LE」と呼ぶことがありますが、Unicode の用語では、それは「UTF-16」符号化スキームのリトルエンディアン版です。
仕様上の「UTF-16LE」は、BOM を付けずにリトルエンディアンで並べたものを指します。

Use of a BOM is not required for UTF-8, but may be encountered in contexts where UTF-8 data is converted from other encoding forms that use a BOM or where the BOM is used as a UTF-8 signature. […] The Unicode Standard does not recommend for or against use of a BOM in UTF-8 data.

UTF-8 では BOM の使用は必須ではないが、BOM を使う他の符号化形式から変換された UTF-8 データや、BOM を UTF-8 のシグネチャとして使う文脈では現れることがある。(中略)Unicode 標準は、UTF-8 データにおける BOM の使用を推奨も非推奨もしない。

[…] character encoding schemes refer to byte-serialized data, as for streaming I/O or in file storage, and byte order must be specified or determinable.

(略)文字符号化スキームは、ストリーム入出力やファイル保存のようなバイト直列化されたデータを指し、バイト順は指定されているか、判定可能でなければならない。

1-2. 3.10 Unicode Encoding Schemes(形式的定義、抜粋)

D95 UTF-8 encoding scheme: […] When represented in UTF-8, the byte order mark turns into the byte sequence <EF BB BF>. Its usage at the beginning of a UTF-8 data stream is not required by the Unicode Standard, but its presence does not affect conformance to the UTF-8 encoding scheme. Identification of the <EF BB BF> byte sequence at the beginning of a data stream can, however, be taken as a near-certain indication that the data stream is using the UTF-8 encoding scheme.

D95 UTF-8 符号化スキーム:(略)UTF-8 で表すと、バイト順マークはバイト列 <EF BB BF> になる。UTF-8 データストリームの先頭での使用は Unicode 標準では要求されないが、存在しても UTF-8 符号化スキームへの適合性には影響しない。ただし、データストリームの先頭で <EF BB BF> を検出したら、そのストリームが UTF-8 符号化スキームを使っていることのほぼ確実な指標とみなしてよい。

D98 UTF-16 encoding scheme: […] In the UTF-16 encoding scheme, an initial byte sequence corresponding to U+FEFF is interpreted as a byte order mark; it is used to distinguish between the two byte orders. An initial byte sequence <FE FF> indicates big-endian order, and an initial byte sequence <FF FE> indicates little-endian order. The BOM is not considered part of the content of the text. The UTF-16 encoding scheme may or may not begin with a BOM. However, when there is no BOM, and in the absence of a higher-level protocol, the byte order of the UTF-16 encoding scheme is big-endian.

D98 UTF-16 符号化スキーム:(略)UTF-16 符号化スキームでは、U+FEFF に対応する先頭のバイト列はバイト順マークとして解釈され、2つのバイト順を区別するために使われる。先頭が <FE FF> ならビッグエンディアン、<FF FE> ならリトルエンディアンを示す。BOM はテキストの内容の一部とはみなさない。UTF-16 符号化スキームは BOM で始まっても始まらなくてもよい。ただし BOM がなく、かつ上位プロトコルもない場合、UTF-16 符号化スキームのバイト順はビッグエンディアンである。

D96 UTF-16BE encoding scheme: […] In UTF-16BE, an initial byte sequence <FE FF> is interpreted as U+FEFF ZERO WIDTH NO-BREAK SPACE.

D96 UTF-16BE 符号化スキーム:(略)UTF-16BE では、先頭のバイト列 <FE FF> は U+FEFF ZERO WIDTH NO-BREAK SPACE(ゼロ幅改行なしスペース)として解釈される。

UTF-16LE・UTF-32BE・UTF-32LE の定義も、UTF-16BE と同様です。
また UTF-32 は、UTF-16 と同様に、BOM が無ければビッグエンディアンとして扱われます。

ここで分かるのは、BOM が無い UTF-16 は「ビッグエンディアン」が既定だということです。
Windows で一般的な UTF-16 はリトルエンディアンなので、BOM を外すと仕様上は逆の順序と解釈されてしまいます。
UTF-16 で BOM が重要視されるのは、このためなのです。

1-3. 23.8.1 Byte Order Mark (BOM): U+FEFF(バイト順マーク)

Unmarked Character Set. In some circumstances, the character set information for a stream of coded characters (such as a file) is not available. The only information available is that the stream contains text, but the precise character set is not known. In these two cases, the BOM character (U+FEFF) is used as a signature to indicate the byte order and the character set by detecting the byte serializations described in Section 3.10, Unicode Encoding Schemes.

文字集合の表示がない場合:状況によっては、(ファイルのような)符号化文字のストリームの文字集合情報が得られないことがある。分かっているのはストリームがテキストを含むということだけで、正確な文字集合は不明である。(バイト順の表示がない場合と合わせた)これら2つの場合に、BOM 文字(U+FEFF)は、3.10節「Unicode 符号化スキーム」で述べたバイト直列化を検出することによって、バイト順と文字集合を示すシグネチャとして用いられる。

Systems that use the byte order mark must recognize when an initial U+FEFF signals the byte order. In those cases, it is not part of the textual content and should be removed before processing, because otherwise it may be mistaken for a legitimate zero width no-break space.

バイト順マークを使うシステムは、先頭の U+FEFF がバイト順を示している場合を認識しなければならない。その場合、それはテキストの内容の一部ではなく、処理の前に取り除くべきである。そうしないと、正規のゼロ幅改行なしスペースと取り違えられるおそれがある。

Table 23-9. Unicode Encoding Scheme Signatures(Unicode 符号化スキームのシグネチャ)

Encoding Scheme Signature
UTF-8 EF BB BF
UTF-16 Big-endian FE FF
UTF-16 Little-endian FF FE
UTF-32 Big-endian 00 00 FE FF
UTF-32 Little-endian FF FE 00 00

この表は、ファイルの先頭数バイトを見て文字エンコーディングを判定するときの基本になります。
UTF-16 リトルエンディアンの FF FE と、UTF-32 リトルエンディアンの FF FE 00 00 は先頭2バイトが同じです。
そのため、判定するときは長いパターンから先に照合する必要があります。

1-4. Guidelines for Use of a BOM in UTF-8(UTF-8 における BOM 使用のガイドライン)

UTF-8 の BOM を付けるべきかどうかについて、Unicode 自身が示している指針です。
実務で BOM の扱いに迷ったときは、この節が最も直接的な根拠になります。

The UTF-8 encoding scheme permits, but does not require, a BOM to be present. […] The utility of a BOM in UTF-8 is limited to scenarios in which a byte sequence contains text that may or may not be encoded as UTF-8. In such scenarios, a BOM may be useful to differentiate text encoded in one of a few possible character encodings. However, the presence of a BOM may also complicate text processing. Some text processing tools fail to handle BOMs correctly.

UTF-8 符号化スキームは BOM の存在を許容するが、要求はしない。(中略)UTF-8 における BOM の有用性は、あるバイト列に含まれるテキストが UTF-8 で符号化されているかどうか分からない場面に限られる。そのような場面では、いくつかの候補となる文字符号化のうちどれで符号化されたテキストかを区別するのに BOM が役立つことがある。しかし、BOM の存在はテキスト処理を複雑にすることもある。テキスト処理ツールの中には BOM を正しく扱えないものがある。

Software developers: If consuming UTF-8, recognize and discard a BOM. If producing UTF-8, include a BOM only if explicitly directed to do so, or if a BOM is known to be required by a protocol.

ソフトウェア開発者向け:UTF-8 を読み込む場合は、BOM を認識して破棄すること。UTF-8 を出力する場合は、明示的に指示されたとき、またはプロトコルが BOM を必要とすることが分かっているときに限り BOM を付けること。

Text authors: Do not use U+FEFF to function as a zero width no-break space character; use U+2060 WORD JOINER instead. Include a BOM if one is known to be required by a targeted protocol. Otherwise, include a BOM when authoring a UTF-8 text file that contains non-ASCII characters, is not targeting a specific protocol, but which may be opened by applications that will not assume UTF-8 by default. (This is useful on systems like Microsoft Windows where some applications assume text files to be encoded with the Active Code Page.) Otherwise, do not include a BOM.

テキスト作成者向け:U+FEFF をゼロ幅改行なしスペースとして使わず、代わりに U+2060 WORD JOINER を使うこと。対象とするプロトコルが BOM を必要とすることが分かっていれば BOM を付けること。そうでなければ、非 ASCII 文字を含み、特定のプロトコルを対象とせず、既定で UTF-8 を前提としないアプリケーションで開かれるかもしれない UTF-8 テキストファイルを作成するときは BOM を付けること。(これは、一部のアプリケーションがテキストファイルをアクティブコードページで符号化されていると仮定する Microsoft Windows のようなシステムで役立つ。)それ以外の場合は BOM を付けないこと。

このガイドラインは、「ソフトウェア開発者」と「テキスト作成者」で指針を分けている点が特徴です。
プログラムが出力するデータには、原則として BOM を付けません。
しかし、人がアプリで開くテキストファイルで、そのアプリが UTF-8 を前提としていない場合は、BOM を付けることを勧めています。
「アクティブコードページ」とは、日本語版 Windows であれば Shift_JIS(CP932)のことです。
つまり、Unicode の仕様自身が、Windows 環境で BOM 付き UTF-8 が必要になる事情を認めているのです。

2. CSV(RFC 4180)

RFC 4180 は、文字エンコーディングを規定していません。
MIME の charset パラメータで、任意の文字集合を指定する方式です。
本文中で文字エンコーディングに触れているのは、第3節「text/csv の MIME タイプ登録」の中の次の2箇所だけで、BOM については何も書かれていません。

なお、RFC 4180 は「Informational(情報提供)」という分類の RFC で、インターネット標準ではありません。
すでに広く使われていた CSV の書式を、後から文書にまとめたものです。
CSV の文字エンコーディングが実装ごとにバラバラなのは、この成り立ちによるところが大きいと思います。

2-1. 3. MIME Type Registration of text/csv(抜粋)

Optional parameters: charset, header

Common usage of CSV is US-ASCII, but other character sets defined by IANA for the “text” tree may be used in conjunction with the “charset” parameter.

省略可能なパラメータ:charset、header

CSV の一般的な使用法では US-ASCII を用いるが、”charset” パラメータと組み合わせることで、IANA が “text” ツリー向けに定めた他の文字集合を用いてもよい。

Encoding considerations:

As per section 4.1.1. of RFC 2046 [3], this media type uses CRLF to denote line breaks. However, implementors should be aware that some implementations may use other values.

符号化に関する考慮事項:

RFC 2046 の 4.1.1 節に従い、このメディアタイプは改行を表すのに CRLF を用いる。ただし実装者は、他の値を用いる実装もありうることに留意すべきである。

RFC 4180 の第2節にある構文定義(ABNF)では、データに使える文字 TEXTDATA が %x20-21 / %x23-2B / %x2D-7E、つまり印字可能な ASCII 文字に限定されています。
そのため構文の上でも、日本語などの非 ASCII 文字は charset パラメータの指定に委ねられている形です。
charset パラメータは HTTP やメールの「ヘッダー」に書くもので、CSV ファイルの中身には文字エンコーディングを書く場所がありません。

2-2. 参考:改訂草案 draft-shafranovich-rfc4180-bis-07(失効済み・規範性なし)

この草案は、2024年8月の -07 を最後に更新されず、失効しています。
RFC にはなっていないので、規範としての効力はありません。
ただし、現在の実務の流れ(CSV の既定を UTF-8 とする流れ)を示す資料としては参考になります。

Since the initial publication of [RFC4180], the default charset for “text/*” media types has been changed to UTF-8 (as per [RFC6657]) and [RFC7111]. This document reflects this change and the default charset for CSV files is now UTF-8.

[RFC4180] の初版発行以降、”text/*” メディアタイプの既定の charset は([RFC6657] および [RFC7111] により)UTF-8 に変更された。本文書はこの変更を反映し、CSV ファイルの既定の charset を UTF-8 とする。

The “charset” parameter specifies the charset employed by the CSV content. In accordance with RFC 6657 [RFC6657], the charset parameter SHOULD be used, and if it is not present, UTF-8 SHOULD be assumed as the default (this implies that US- ASCII CSV will work, even when not specifying the “charset” parameter).

“charset” パラメータは CSV の内容で使われている charset を指定する。RFC 6657 に従い、charset パラメータは使用されるべきであり(SHOULD)、存在しない場合は既定として UTF-8 を想定すべきである(SHOULD)。(これは、”charset” パラメータを指定しなくても US-ASCII の CSV が機能することを意味する。)

整理すると、CSV の文字エンコーディングについて、正式な仕様が決めていることはほとんどありません。
「一般には US-ASCII、それ以外は charset で示す」という程度の規定です。
UTF-8 を既定とする考え方は実務では広まっていますが、仕様上の裏付けとなるはずだった改訂草案は失効しています。

3. XML(Extensible Markup Language (XML) 1.0 Fifth Edition)

XML は、ここで扱う5つの規格の中で、文字エンコーディングの規定が最も厳密です。
全ての XML プロセッサ(XML を読み込むソフトウェア)に、UTF-8 と UTF-16 の読み込みを義務付け、UTF-16 では BOM を必須としています。
それ以外の文字エンコーディングは、文書の先頭の「符号化宣言(encoding="…")」で名前を示します。
BOM も符号化宣言も無ければ UTF-8 とみなし、実際の文字エンコーディングと食い違えば「致命的エラー」になります。

XML の仕様書には「実体(entity)」という用語が出てきます。
ここでは「XML 文書を構成する1つのファイル」と考えて差し支えありません。

3-1. 2.2 Characters(文字、抜粋)

The mechanism for encoding character code points into bit patterns may vary from entity to entity. All XML processors must accept the UTF-8 and UTF-16 encodings of Unicode [Unicode]; the mechanisms for signaling which of the two is in use, or for bringing other encodings into play, are discussed later, in 4.3.3 Character Encoding in Entities.

文字のコードポイントをビットパターンへ符号化する仕組みは、実体ごとに異なってもよい。すべての XML プロセッサは Unicode の UTF-8 符号化と UTF-16 符号化を受け入れなければならない(must)。どちらが使われているかを示す仕組み、または他の符号化を用いる仕組みは、4.3.3「実体における文字符号化」で後述する。

[2] Char ::= #x9 | #xA | #xD | [#x20-#xD7FF] | [#xE000-#xFFFD] | [#x10000-#x10FFFF]
    /* any Unicode character, excluding the surrogate blocks, FFFE, and FFFF. */

この構文定義は、XML 文書に使える文字の範囲を示しています。
TAB・LF・CR 以外の制御文字(#x0〜#x1F)は、XML 1.0 の文書には書けません。

3-2. 4.3.3 Character Encoding in Entities(実体における文字符号化)

Each external parsed entity in an XML document may use a different encoding for its characters. All XML processors must be able to read entities in both the UTF-8 and UTF-16 encodings. The terms “UTF-8” and “UTF-16” in this specification do not apply to related character encodings, including but not limited to UTF-16BE, UTF-16LE, or CESU-8.

XML 文書中の各外部解析対象実体は、それぞれ異なる文字符号化を用いてもよい。すべての XML プロセッサは、UTF-8 と UTF-16 の両方の符号化の実体を読めなければならない(must)。この仕様における用語 “UTF-8” および “UTF-16” は、UTF-16BE、UTF-16LE、CESU-8 などの関連する文字符号化には適用されない。

Entities encoded in UTF-16 must and entities encoded in UTF-8 may begin with the Byte Order Mark described by Annex H of [ISO/IEC 10646:2000], section 16.8 of [Unicode] (the ZERO WIDTH NO-BREAK SPACE character, #xFEFF). This is an encoding signature, not part of either the markup or the character data of the XML document. XML processors must be able to use this character to differentiate between UTF-8 and UTF-16 encoded documents.

UTF-16 で符号化された実体は、ISO/IEC 10646:2000 の附属書 H、および Unicode の 16.8 節で説明されるバイト順マーク(ZERO WIDTH NO-BREAK SPACE 文字、#xFEFF)で始まらなければならず(must)、UTF-8 で符号化された実体はこれで始まってもよい(may)。これは符号化のシグネチャであり、XML 文書のマークアップにも文字データにも含まれない。XML プロセッサは、この文字を使って UTF-8 と UTF-16 で符号化された文書を区別できなければならない。

参照先の Unicode「16.8 節」は、XML 1.0 第5版が書かれた当時の版の節番号です。
Unicode 18.0 では、このページの「1-3」で紹介した 23.8 節にあたります。

If the replacement text of an external entity is to begin with the character U+FEFF, and no text declaration is present, then a Byte Order Mark MUST be present, whether the entity is encoded in UTF-8 or UTF-16.

外部実体の置換テキストが文字 U+FEFF で始まり、かつテキスト宣言がない場合は、その実体が UTF-8 であれ UTF-16 であれ、バイト順マークが存在しなければならない(MUST)。

Although an XML processor is required to read only entities in the UTF-8 and UTF-16 encodings, it is recognized that other encodings are used around the world, and it may be desired for XML processors to read entities that use them. In the absence of external character encoding information (such as MIME headers), parsed entities which are stored in an encoding other than UTF-8 or UTF-16 must begin with a text declaration (see 4.3.1 The Text Declaration) containing an encoding declaration:

XML プロセッサに読み込みが要求されるのは UTF-8 と UTF-16 の実体だけだが、世界では他の符号化も使われており、それらを用いる実体を XML プロセッサが読めることが望ましい場合がある。(MIME ヘッダのような)外部の文字符号化情報がない場合、UTF-8 でも UTF-16 でもない符号化で格納された解析対象実体は、符号化宣言を含むテキスト宣言(4.3.1 参照)で始まらなければならない。

[80] EncodingDecl ::= S 'encoding' Eq ('"' EncName '"' | "'" EncName "'" )
[81] EncName      ::= [A-Za-z] ([A-Za-z0-9._] | '-')*
    /* Encoding name contains only Latin characters */

符号化宣言の名前(EncName)は、ASCII の英字で始まり、英数字と . _ - だけで書くと決められています。
この制限があるおかげで、文字エンコーディングが確定する前でも、宣言部分だけは読み取れるのです。

In an encoding declaration, the values “UTF-8”, “UTF-16”, “ISO-10646-UCS-2”, and “ISO-10646-UCS-4” should be used for the various encodings and transformations of Unicode / ISO/IEC 10646, the values “ISO-8859-1”, “ISO-8859-2”, … “ISO-8859-n” (where n is the part number) should be used for the parts of ISO 8859, and the values “ISO-2022-JP”, “Shift_JIS”, and “EUC-JP” should be used for the various encoded forms of JIS X-0208-1997. It is recommended that character encodings registered (as charsets) with the Internet Assigned Numbers Authority [IANA-CHARSETS], other than those just listed, be referred to using their registered names; other encodings should use names starting with an “x-“ prefix. XML processors should match character encoding names in a case-insensitive way and should either interpret an IANA-registered name as the encoding registered at IANA for that name or treat it as unknown (processors are, of course, not required to support all IANA-registered encodings).

符号化宣言では、Unicode / ISO/IEC 10646 の各種符号化・変換形式には “UTF-8”、”UTF-16”、”ISO-10646-UCS-2”、”ISO-10646-UCS-4” を、ISO 8859 の各部には “ISO-8859-1”、”ISO-8859-2”、…、”ISO-8859-n”(n は部番号)を、JIS X 0208-1997 の各種符号化形式には “ISO-2022-JP”、”Shift_JIS”、”EUC-JP” を用いるべきである。それ以外の、IANA に(charset として)登録された文字符号化は登録名で参照することを推奨する。その他の符号化には “x-“ で始まる名前を用いるべきである。XML プロセッサは文字符号化名を大文字小文字を区別せずに照合すべきであり、IANA 登録名は IANA に登録された符号化として解釈するか、未知のものとして扱うべきである(もちろん、プロセッサが IANA 登録の全符号化をサポートする必要はない)。

XML の仕様書は、日本語の文字エンコーディングである Shift_JIS・EUC-JP・ISO-2022-JP を名指しで挙げています。
ただし、最後の括弧書きにある通り、XML プロセッサがこれらに対応する義務はありません。

In the absence of information provided by an external transport protocol (e.g. HTTP or MIME), it is a fatal error for an entity including an encoding declaration to be presented to the XML processor in an encoding other than that named in the declaration, or for an entity which begins with neither a Byte Order Mark nor an encoding declaration to use an encoding other than UTF-8. Note that since ASCII is a subset of UTF-8, ordinary ASCII entities do not strictly need an encoding declaration.

外部の転送プロトコル(HTTP や MIME など)から情報が提供されない場合、符号化宣言を含む実体が宣言で示されたもの以外の符号化で XML プロセッサに渡されること、またはバイト順マークも符号化宣言も持たない実体が UTF-8 以外の符号化を用いることは、致命的エラーである。なお、ASCII は UTF-8 の部分集合なので、通常の ASCII 実体には厳密には符号化宣言は必要ない。

It is a fatal error when an XML processor encounters an entity with an encoding that it is unable to process. It is a fatal error if an XML entity is determined (via default, encoding declaration, or higher-level protocol) to be in a certain encoding but contains byte sequences that are not legal in that encoding. Specifically, it is a fatal error if an entity encoded in UTF-8 contains any ill-formed code unit sequences, as defined in section 3.9 of Unicode [Unicode]. Unless an encoding is determined by a higher-level protocol, it is also a fatal error if an XML entity contains no encoding declaration and its content is not legal UTF-8 or UTF-16.

XML プロセッサが処理できない符号化の実体に遭遇することは、致命的エラーである。XML 実体が(既定値、符号化宣言、または上位プロトコルによって)ある符号化であると判定されたにもかかわらず、その符号化として不正なバイト列を含む場合は、致命的エラーである。具体的には、UTF-8 で符号化された実体が Unicode の 3.9 節で定義される不正な符号単位列を含む場合は致命的エラーである。符号化が上位プロトコルによって決定されない限り、XML 実体が符号化宣言を含まず、かつ内容が正当な UTF-8 でも UTF-16 でもない場合も、致命的エラーである。

「致命的エラー(fatal error)」とは、XML の仕様で最も重いエラーです。
XML プロセッサは致命的エラーを検出したら、通常の処理を続けてはならないと定められています。
文字化けを推測で救済して読み進めることは、XML では許されないのです。

3-3. Appendix F Autodetection of Character Encodings (Non-Normative)(文字符号化の自動検出、参考扱い)

付録F は、規範的ではない(Non-Normative)解説です。
先頭2〜4バイトのパターンから文字エンコーディングの「族」を判定し、その後で符号化宣言を読む手順を示しています。
主な行を抜粋します。

先頭バイト 原文の判定 訳
FE FF ## ## UTF-16, big-endian UTF-16、ビッグエンディアン
FF FE ## ## UTF-16, little-endian UTF-16、リトルエンディアン
EF BB BF UTF-8 UTF-8
3C 3F 78 6D UTF-8, ISO 646, ASCII, some part of ISO 8859, Shift-JIS, EUC, or any other 7-bit, 8-bit, or mixed-width encoding […]; the actual encoding declaration must be read to detect which of these applies UTF-8、ASCII、ISO 8859、Shift_JIS、EUC など。どれかは符号化宣言を読んで判定する
Other UTF-8 without an encoding declaration, or else the data stream is mislabeled (lacking a required encoding declaration), corrupt, fragmentary, or enclosed in a wrapper of some kind 符号化宣言のない UTF-8。さもなければラベル誤り(必要な符号化宣言がない)、破損、断片、または何らかのラッパーに包まれたデータ

3C 3F 78 6D は、ASCII で書いた <?xm のバイト列です。
XML 宣言は必ず <?xml で始まるので、先頭がこのバイト列なら「ASCII と互換性のある何らかの文字エンコーディング」だと分かります。
そこから先は、符号化宣言を読んで具体的な名前を確定させる、という2段構えの仕組みです。

If an XML entity is in a file, the Byte-Order Mark and encoding declaration are used (if present) to determine the character encoding.

XML 実体がファイルである場合、文字符号化の判定には(存在すれば)バイト順マークと符号化宣言を用いる。(F.2 より)

4. JSON(ECMA-404 2nd edition / RFC 8259)

JSON は、仕様が2本立てです。
ECMA-404 は「Unicode コードポイントの列」としての文法だけを定め、バイト列への符号化は他の規格に任せています。
文字エンコーディングを規定しているのは IETF の RFC 8259 で、閉じた系の外とやり取りするときは UTF-8 が必須、BOM を付けることは禁止です。

RFC 8259 の 1.2 節は ECMA-404 を規範として参照しており、2つの文書の文法が一致するよう、Ecma と IETF が協力すると明記しています。
つまり、文法は ECMA-404、文字エンコーディングを含む交換のルールは RFC 8259、という役割分担になっているのです。

4-1. ECMA-404(第2版、2017年12月)

JSON syntax describes a sequence of Unicode code points. JSON also depends on Unicode in the hex numbers used in the \u escapement notation.

JSON の構文は Unicode コードポイントの列を記述する。JSON はまた、\u エスケープ記法で使われる16進数においても Unicode に依存する。(Introduction より)

It is expected that other standards will refer to this one, strictly adhering to the JSON syntax, while imposing semantics interpretation and restrictions on various encoding details. Such standards may require specific behaviours. JSON itself specifies no behaviour.

他の規格が本規格を参照し、JSON の構文に厳密に従いつつ、意味の解釈や様々な符号化の詳細に関する制約を課すことが想定されている。そうした規格は特定の振る舞いを要求してもよい。JSON 自体はいかなる振る舞いも規定しない。(Introduction より)

2 Conformance

A conforming JSON text is a sequence of Unicode code points that strictly conforms to the JSON grammar defined by this specification.

2 適合性:適合する JSON テキストとは、本仕様が定義する JSON 文法に厳密に適合する Unicode コードポイントの列である。

4 JSON Text

A JSON text is a sequence of tokens formed from Unicode code points that conforms to the JSON value grammar.

4 JSON テキスト:JSON テキストとは、Unicode コードポイントから構成され、JSON の値の文法に適合するトークンの列である。

9 String

[…] To escape a code point that is not in the Basic Multilingual Plane, the character may be represented as a twelve-character sequence, encoding the UTF-16 surrogate pair corresponding to the code point. […] However, whether a processor of JSON texts interprets such a surrogate pair as a single code point or as an explicit surrogate pair is a semantic decision that is determined by the specific processor.

9 文字列:(略)基本多言語面(BMP)にないコードポイントをエスケープするには、そのコードポイントに対応する UTF-16 サロゲートペアを符号化した12文字の列で表してもよい。(略)ただし、JSON テキストの処理器がそのようなサロゲートペアを1つのコードポイントと解釈するか、明示的なサロゲートペアと解釈するかは、個々の処理器が決める意味論上の判断である。

ECMA-404 には、UTF-8 という言葉も BOM という言葉も、規定としては出てきません。
JSON テキストを「バイト列」ではなく「コードポイントの列」として定義しているので、バイト列への変換は ECMA-404 の守備範囲の外なのです。
UTF-16 が登場するのは、𝄞 のようなエスケープ記法の中だけです。

4-2. RFC 8259(IETF STD 90、2017年12月)

8.1. Character Encoding

JSON text exchanged between systems that are not part of a closed ecosystem MUST be encoded using UTF-8 [RFC3629].

Previous specifications of JSON have not required the use of UTF-8 when transmitting JSON text. However, the vast majority of JSON-based software implementations have chosen to use the UTF-8 encoding, to the extent that it is the only encoding that achieves interoperability.

Implementations MUST NOT add a byte order mark (U+FEFF) to the beginning of a networked-transmitted JSON text. In the interests of interoperability, implementations that parse JSON texts MAY ignore the presence of a byte order mark rather than treating it as an error.

8.1 文字符号化

閉じたエコシステムに属さないシステム間で交換される JSON テキストは、UTF-8 [RFC3629] で符号化しなければならない(MUST)。

以前の JSON 仕様は、JSON テキストの送信時に UTF-8 の使用を要求していなかった。しかし JSON を扱うソフトウェア実装の大多数は UTF-8 符号化を採用しており、相互運用性を実現できる唯一の符号化というほどになっている。

実装は、ネットワークで送信される JSON テキストの先頭にバイト順マーク(U+FEFF)を付加してはならない(MUST NOT)。相互運用性のため、JSON テキストを解析する実装は、バイト順マークの存在をエラーとして扱わずに無視してもよい(MAY)。

「閉じたエコシステム(closed ecosystem)」とは、1つのシステムの内部だけでやり取りが完結し、外部と交換しない環境のことです。
その内部であれば UTF-8 以外を使っても仕様違反にはなりませんが、外部と交換した時点で UTF-8 が必須になります。
また、BOM を「付けてはならない」のは送る側の義務で、受け取る側は BOM を「無視してもよい」とされています。
受け取る側が BOM をエラーにしても仕様違反ではない、という点は覚えておいた方が良いでしょう。

  1. IANA Considerations […] Encoding considerations: binary […] Note: No “charset” parameter is defined for this registration. Adding one really has no effect on compliant recipients.

11 IANA に関する考慮事項(application/json):(略)符号化に関する考慮事項:binary(略)注:この登録では “charset” パラメータを定義しない。付けたところで、準拠した受信側には何の影響もない。

application/json; charset=utf-8 という Content-Type はよく見かけますが、仕様上は charset パラメータは定義されていません。
JSON は UTF-8 に固定されているので、charset で文字エンコーディングを名乗る必要が無いのです。

5. YAML(YAML Ain’t Markup Language version 1.2, Revision 1.2.2)

YAML 1.2.2(2021年10月1日)は、入力では UTF-8・UTF-16・UTF-32 の受け入れを義務付けています。
文字エンコーディングは、BOM か、「先頭の文字は ASCII」という前提から自動判定します。
推奨される出力の文字エンコーディングは UTF-8 です。
XML と違い、文字エンコーディングを名前で宣言する仕組みはありません。

YAML の仕様書には「ストリーム」と「ドキュメント」という用語が出てきます。
1つの YAML ファイルが1つの「ストリーム」で、その中に --- で区切った複数の「ドキュメント」を含めることができます。

5-1. 5.1 Character Set(文字集合、抜粋)

To ensure readability, YAML streams use only the printable subset of the Unicode character set. The allowed character range explicitly excludes the C0 control block x00-x1F (except for TAB x09, LF x0A and CR x0D which are allowed), DEL x7F, the C1 control block x80-x9F (except for NEL x85 which is allowed), the surrogate block xD800-xDFFF, xFFFE and xFFFF.

可読性を確保するため、YAML ストリームは Unicode 文字集合のうち印字可能な部分集合のみを用いる。許可される文字範囲からは、C0 制御文字ブロック x00-x1F(ただし TAB x09、LF x0A、CR x0D は許可)、DEL x7F、C1 制御文字ブロック x80-x9F(ただし NEL x85 は許可)、サロゲートブロック xD800-xDFFF、xFFFE および xFFFF が明示的に除外される。

5-2. 5.2 Character Encodings(文字符号化)

All characters mentioned in this specification are Unicode code points. Each such code point is written as one or more bytes depending on the character encoding used. Note that in UTF-16, characters above xFFFF are written as four bytes, using a surrogate pair.

本仕様で言及する文字はすべて Unicode コードポイントである。各コードポイントは、使用する文字符号化に応じて1バイト以上で書かれる。なお UTF-16 では、xFFFF を超える文字はサロゲートペアを用いて4バイトで書かれる。

The character encoding is a presentation detail and must not be used to convey content information.

文字符号化は表現上の細部であり、内容の情報を伝えるために用いてはならない。

On input, a YAML processor must support the UTF-8 and UTF-16 character encodings. For JSON compatibility, the UTF-32 encodings must also be supported.

入力において、YAML プロセッサは UTF-8 および UTF-16 の文字符号化をサポートしなければならない。JSON との互換性のため、UTF-32 の符号化もサポートしなければならない。

If a character stream begins with a byte order mark, the character encoding will be taken to be as indicated by the byte order mark. Otherwise, the stream must begin with an ASCII character. This allows the encoding to be deduced by the pattern of null (x00) characters.

文字ストリームがバイト順マークで始まる場合、文字符号化はバイト順マークが示すとおりとみなされる。そうでない場合、ストリームは ASCII 文字で始まらなければならない。これにより、ヌル(x00)文字のパターンから符号化を推定できる。

Byte order marks may appear at the start of any document, however all documents in the same stream must use the same character encoding.

バイト順マークはどのドキュメントの先頭に現れてもよいが、同一ストリーム内のすべてのドキュメントは同じ文字符号化を用いなければならない。

To allow for JSON compatibility, byte order marks are also allowed inside quoted scalars. For readability, such content byte order marks should be escaped on output.

JSON との互換性のため、引用符で囲まれたスカラーの内部でもバイト順マークを許可する。可読性のため、このような内容中のバイト順マークは出力時にエスケープすべきである。

The encoding can therefore be deduced by matching the first few bytes of the stream with the following table rows (in order):

したがって、ストリームの先頭数バイトを次の表の行と(上から順に)照合することで、符号化を推定できる。

  Byte0 Byte1 Byte2 Byte3 Encoding
Explicit BOM x00 x00 xFE xFF UTF-32BE
ASCII first character x00 x00 x00 any UTF-32BE
Explicit BOM xFF xFE x00 x00 UTF-32LE
ASCII first character any x00 x00 x00 UTF-32LE
Explicit BOM xFE xFF     UTF-16BE
ASCII first character x00 any     UTF-16BE
Explicit BOM xFF xFE     UTF-16LE
ASCII first character any x00     UTF-16LE
Explicit BOM xEF xBB xBF   UTF-8
Default         UTF-8

ASCII 文字を UTF-16 や UTF-32 で書くと、必ず x00 のバイトが混じります。
例えば「a」(x61)は、UTF-16LE では 61 00、UTF-32BE では 00 00 00 61 になります。
YAML は、この x00 の位置から文字エンコーディングを推定しているのです。
逆に言えば、BOM の無い Shift_JIS などはこの表のどの行にも当てはまらず、最後の「Default」で UTF-8 として扱われます。

The recommended output encoding is UTF-8. If another encoding is used, it is recommended that an explicit byte order mark be used, even if the first stream character is ASCII.

推奨される出力符号化は UTF-8 である。他の符号化を用いる場合は、ストリームの最初の文字が ASCII であっても、明示的なバイト順マークを付けることを推奨する。

[3] c-byte-order-mark ::= xFEFF

仕様の Example 5.2 では、ドキュメントの途中に置かれた BOM を「A BOM must not appear inside a document.」(BOM はドキュメントの内部に現れてはならない)としてエラーにしています。

5-3. 9.1.1 Document Prefix(ドキュメント接頭辞)

A document may be preceded by a prefix specifying the character encoding and optional comment lines. Note that all documents in a stream must use the same character encoding. However it is valid to re-specify the encoding using a byte order mark for each document in the stream.

ドキュメントの前には、文字符号化を指定する接頭辞と、任意のコメント行を置いてもよい。ストリーム内のすべてのドキュメントは同じ文字符号化を用いなければならない点に注意。ただし、ストリーム内の各ドキュメントごとにバイト順マークで符号化を指定し直すことは正当である。

[202] l-document-prefix ::= c-byte-order-mark? l-comment*

この構文定義の c-byte-order-mark? の ? は、「BOM はあっても無くても良い」という意味です。
各ドキュメントの先頭に BOM を置き直すことはできますが、文字エンコーディングを途中で切り替えることはできません。

6. 比較一覧

ここまでの規定を、1枚の表にまとめます。

項目 Unicode 18.0(テキスト一般) CSV(RFC 4180) XML 1.0 第5版 JSON(ECMA-404) JSON(RFC 8259) YAML 1.2.2
規格の性格 文字コード規格 IETF Informational(非標準) W3C 勧告 Ecma 標準 IETF 標準(STD 90) コミュニティ仕様
テキストの定義 符号化スキーム7種 規定なし(ABNF は印字可能 ASCII) Unicode 文字(Char) Unicode コードポイント列 Unicode コードポイント列 Unicode の印字可能部分集合
必須の符号化 — なし 読取り:UTF-8・UTF-16 必須 規定しない 交換時:UTF-8 必須(MUST) 入力:UTF-8・UTF-16・UTF-32 必須
その他の符号化 — charset で IANA 登録名を任意指定 符号化宣言で可(Shift_JIS、EUC-JP 等) — 閉じた系の内部のみ 不可(Unicode 符号化のみ)
符号化の指定方法 BOM(シグネチャ)または上位プロトコル MIME charset パラメータ BOM と encoding 宣言(外部情報も) — なし(charset パラメータは効果なし) BOM または先頭バイトのヌルパターン
指定がないときの既定 UTF-16/32 はビッグエンディアン US-ASCII(一般的用法)。失効草案では UTF-8 UTF-8 — UTF-8 UTF-8
UTF-8 の BOM 任意。読み手は破棄、書き手は原則付けない 規定なし 任意(may) 規定なし 付加禁止(MUST NOT)、読み手は無視可(MAY) 任意。各ドキュメント先頭に可
UTF-16 の BOM UTF-16 スキームで任意、BE/LE では付けない 規定なし 必須(must) 規定なし (UTF-16 自体が不可) 任意。ASCII 先頭なら不要だが推奨
不正・不一致時 — 規定なし 致命的エラー — 規定なし(不正サロゲートは挙動不定) BOM が文書途中にあればエラー
推奨の出力 UTF-8、BOM なし(例外あり) — — — UTF-8、BOM なし UTF-8

この表から読み取れることを整理すると、次の通りです。

文字エンコーディングを「必須」として1つに特定しているのは、JSON(RFC 8259)だけです。
XML と YAML は、UTF-8 と UTF-16 の読み込みを義務付けた上で、BOM などから自動判定する方式です。
CSV は、ファイルの外にある charset の指定に任せていて、ファイル自体には何の手がかりもありません。

BOM の扱いは、「UTF-16 では必須(XML)」から「付加禁止(JSON)」まで分かれています。
しかし、全ての規格に共通して言えるのは、「UTF-8・BOM なし」で書いたテキストは、どの規格でも仕様に適合するということです。
そして、Unicode のガイドラインが言う通り、読み込む側は BOM を「認識して捨てる」ことが求められます。

ちなみに、CSV 以外の規格は、改行コードの扱いも定めています。
XML(2.11節)と YAML(5.4節)は、CRLF や CR を読み込み時に LF へ正規化します。
JSON では、CR と LF はどちらも空白文字として扱われます。
CSV だけが「改行は CRLF」と決めていますが、「他の値を用いる実装もありうる」と自ら認めています。
改行コードの規定は、このページの対象外なので、原文の紹介は省略します。

最後に

以上、Unicode・CSV・XML・JSON・YAML の仕様書が定める、文字エンコーディングの規約の紹介でした。

同じ「テキストファイル」でも、規格によって文字エンコーディングの決め方がここまで違うのは、それぞれの規格が生まれた時期と目的が違うからです。
CSV は仕様より先に実装が広まった形式で、XML は多様な文字エンコーディングが共存していた1990年代に設計されました。
JSON と YAML は、Unicode が普及した後の規格なので、最初から Unicode を前提にしています。
どれかの規格が悪いわけではなく、時代ごとの事情を反映しているのです。

仕様を元にした実務での注意点は、姉妹編のページにまとめています。

CSV・XML・JSON・YAML を扱うときの文字エンコーディング注意事項

このページを、各形式の文字エンコーディングを扱うときの、原典確認の資料としてご利用ください。

出典と引用ライセンス

全て、2026年11月21日に各公式ページから取得しました。
引用した英文は、各文書の著作権表示とライセンスに従って、改変せずに抜粋しています。
英文中の [...] は私による省略で、日本語訳は Claude に翻訳してもらった参考訳です。
規範的な効力を持つのは英語原文です。