CSV・XML・JSON・YAML を扱うときの文字エンコーディング注意事項

普通の PC ユーザーでも、Excel で CSV ファイルを開いたときに「文字化け」を経験したことがあると思います。
プログラマーであれば、JSON や YAML の先頭に見えない文字が入っていて、読み込みに失敗した経験があるかも知れません。
これらの原因の多くは、文字エンコーディングと BOM の扱いの食い違いです。

このページでは、CSV・XML・JSON・YAML の4つの形式について、文字エンコーディングを扱うときの注意事項をまとめます。
新しくデータの入出力処理を書くプログラマーや、他システムとのデータ連携を担当する ITエンジニアの方を対象にしています。

各形式の仕様書の英語原文と日本語訳は、姉妹編の以下のページにまとめています。
このページの記述の根拠を確かめたい方は、こちらをご覧ください。

テキスト規格の文字エンコーディング規約(Unicode・CSV・XML・JSON・YAML)

(このページの内容は、2026年11月21日時点の各仕様と、各ツールの挙動を元に書いています。ツールの挙動はバージョンによって変わることがあるので、その点は配慮して読んでください)

このページで扱う範囲

このページで扱うのは、4つの形式の「文字エンコーディング」と「BOM」と「文字エンコーディングの識別方法」です。
CSV の引用符の規則や、各形式の構文そのものは扱いません。

また、Shift_JIS と UTF-8 が混在している日本特有の事情や、Windows で BOM 付き UTF-8 が使われるようになった歴史的な経緯も、ここでは扱いません。
このページは、「仕様上どうなっているか」と「実務でどうすれば良いか」に絞って説明します。

用語を1つだけ先に定義しておきます。
BOM とは、Byte Order Mark(バイト順マーク)の略で、テキストの先頭に置く U+FEFF という特別な文字です。
UTF-8 では EF BB BF という3バイトになり、「このテキストは UTF-8 である」という目印として働きます。

要点:迷ったら「UTF-8・BOM なしで書き、BOM は読んで捨てる」

最初に結論を書いておきます。

4つの形式の全てで安全に通用するのは、「書き出しは UTF-8・BOM なし、読み込みは先頭の BOM を認識して捨てる」という方針です。
仕様ごとの違いが問題になるのは、この方針から外れる場合だけです。

  1. 書き出しは UTF-8。 JSON では必須、YAML では推奨、XML では宣言なしで通る既定値です。
  2. UTF-8 に BOM は付けない。 JSON では禁止で、Unicode も「指示がなければ付けない」としています。例外は、受け取る側(例:Windows の表計算ソフト)が BOM を必要とすると分かっている場合だけです。
  3. 読み込みでは、先頭の BOM を許容して取り除く。 取り除かないと、最初の列名やキー名の頭に、見えない文字 U+FEFF が残ります。
  4. UTF-8 以外を使うなら、形式ごとの「名乗り方」に従う。 XML は encoding 宣言、CSV は MIME の charset、YAML は BOM です。JSON は、外部との交換では UTF-8 以外を使えません。
  5. Shift_JIS や EUC-JP を正式に名乗れるのは XML と CSV だけ。 YAML と JSON には名乗る手段がなく、Unicode 系の文字エンコーディングしか想定されていません。

以下では、この5つの結論の根拠と、例外になる場面を順に説明します。

1. 使用できる文字エンコーディング

使える文字エンコーディングの幅は、広い順に CSV(制限なし)→ XML(宣言すれば何でも)→ YAML(Unicode 系のみ)→ JSON(外部との交換は UTF-8 のみ)です。

ここで注意して欲しいのは、「読み手が必ず対応している文字エンコーディング」と「書き手が選んで良い文字エンコーディング」は別物だということです。
仕様上は使えても、読み手が対応していなければ、データは読めません。

形式(根拠) 読み手が必ず対応する符号化 それ以外の符号化 指定がないとき 推奨の出力
CSV(RFC 4180) 規定なし MIME の charset で IANA 登録の文字集合を指定可 US-ASCII(一般的用法) 規定なし(実務上は UTF-8)
XML(XML 1.0 第5版) UTF-8、UTF-16 encoding 宣言で指定可(Shift_JIS、EUC-JP、ISO-2022-JP 等)。ただし対応はプロセッサ次第 UTF-8 規定なし(UTF-8 が最も互換性が高い)
JSON(RFC 8259) UTF-8 閉じた系の内部でのみ。名乗る手段はない UTF-8 UTF-8(外部との交換では必須)
YAML(YAML 1.2.2) UTF-8、UTF-16、UTF-32 想定なし(判定方法が Unicode 系しかない) UTF-8 UTF-8

この表の「読み手が必ず対応する符号化」の列を見ると、4つの形式全てに共通するのは UTF-8 だけです。
CSV は規定がありませんが、現在の多くのソフトウェアは UTF-8 の CSV を読めます。
つまり、相手の環境が分からないときは、UTF-8 を選ぶのが最も堅実なのです。

1-1. 形式ごとの注意点

CSV

RFC 4180 は、文字エンコーディングを決めていません。
CSV ファイルの中には文字エンコーディングを書く場所が無いので、ファイル単体では文字エンコーディングを識別できません。
そのため、アプリ同士で事前に取り決めるか、HTTP の Content-Type で text/csv; charset=UTF-8 のように示す必要があります。

UTF-8 を既定とする RFC 4180 の改訂草案(rfc4180-bis)も作られましたが、失効しており、正式な規定にはなっていません。
「CSV の既定は UTF-8」という考え方は、実務上の慣行であって、仕様の裏付けは無いのが実状です。

XML

XML の仕様で言う「UTF-8」「UTF-16」には、UTF-16BE、UTF-16LE、CESU-8 は含まれません。
Shift_JIS などは、encoding 宣言で名乗れば仕様上は正当です。
しかし、XML プロセッサにはそれらに対応する義務が無く、対応していないプロセッサでは致命的エラーになります。
互換性を求めるなら、UTF-8 か UTF-16 を使ってください。

JSON

JSON の文法を定める ECMA-404 は、文字エンコーディングを決めていません。
実際のルールは RFC 8259 にあり、外部との交換では UTF-8 が必須(MUST)です。
application/json には charset パラメータが定義されておらず、charset=utf-8 を付けても効果はありません。

また、絵文字など BMP(基本多言語面)の外にある文字を \uXXXX 形式でエスケープするときは、UTF-16 のサロゲートペア(例:𝄞)になります。
対になっていないサロゲート(\uD834 だけ、など)の扱いは、実装によって異なります。

YAML

YAML で UTF-32 への対応が必須になっているのは、JSON との互換性のためです。
同じストリーム(1つのファイル)の中で --- で区切った複数のドキュメントは、全て同じ文字エンコーディングでなければなりません。
また、使える文字は Unicode の印字可能な部分集合に限られ、TAB・LF・CR・NEL 以外の制御文字は、そのままでは書けません。

2. BOM:必須・推奨・任意・禁止の違い

BOM の扱いは、形式と文字エンコーディングの組み合わせによって、「必須」から「禁止」まで分かれます。
例えば、XML の UTF-16 では BOM が必須ですが、JSON の UTF-8 では BOM を付けてはいけません。

2-1. 規定の強さを表す言葉の意味

仕様書は、規定の強さを決まった言葉で表します。
この言葉の意味を取り違えると、BOM の扱いを誤るので、先に整理しておきます。

強さ 仕様上の表現 意味 守らないと
必須 MUST / must 付けなければ仕様違反 読み手が符号化を判定できず、エラーになりうる
推奨 should / recommended 特別な理由がなければ付ける 適合はしているが、読み手によっては誤判定する
任意 may / permits 付けても付けなくても適合 読み手はどちらも受け入れる必要がある
禁止 MUST NOT 付けると仕様違反 読み手がエラーにすることがある

この中で誤解されやすいのは「任意」です。
「任意」は「付けても良い」という意味であって、「付けた方が良い」という意味ではありません。
一方で読み手にとっては、任意の BOM は「来るかも知れないので、必ず処理できなければならないもの」になります。
書き手にとっては気楽な規定でも、読み手にとっては負担になる規定なのです。

2-2. 形式別の BOM の扱い

形式 UTF-8 の BOM UTF-16 の BOM 読み手の義務
Unicode(一般原則) 任意。出力は指示がなければ付けない UTF-16 スキームでは任意(なければビッグエンディアン)。UTF-16BE/LE では付けない 先頭の BOM を認識して破棄する
CSV 規定なし 規定なし 規定なし(実務上は破棄すべき)
XML 任意(may) 必須(must) BOM で UTF-8 と UTF-16 を区別できなければならない
JSON 禁止(MUST NOT) (UTF-16 自体が交換で使えない) エラーにせず無視してもよい(MAY)
YAML 任意 任意。ただし UTF-8 以外では推奨(先頭が ASCII でも) BOM に従って符号化を決める

この表で特に注意すべきなのは、XML の UTF-16 と、JSON の UTF-8 です。
同じ「BOM を付けるか付けないか」という問題でも、XML の UTF-16 では付けないと仕様違反、JSON では付けると仕様違反になります。
「BOM は常に付ける」「BOM は常に外す」という一律の方針では、どちらかで必ず問題が起きるのです。

2-3. 実務での判断

出力する側

Unicode 18.0 のガイドラインは、ソフトウェア開発者に対して、UTF-8 の BOM を「明示的な指示があるか、プロトコルが要求するときだけ付ける」よう求めています。
JSON では、これが仕様上の禁止になります。
プログラムが他のプログラムに渡すデータには、BOM を付けないのが原則です。

例外:人がアプリで開くファイル

しかし、同じガイドラインは、テキストを作成する人に対して、別の指針も示しています。
非 ASCII 文字を含み、UTF-8 を前提としないアプリで開かれるかも知れないテキストファイルには、BOM を付けるよう勧めているのです。
その例として挙げられているのが Windows です。

日本語を含む CSV を Excel で開くために、BOM 付き UTF-8 で出力する慣行は、この例外にあたります。
日本語版の Excel は、BOM の無い UTF-8 の CSV をダブルクリックで開くと、Shift_JIS として解釈して文字化けすることがあります。
よって、Excel で開くことが目的の CSV に BOM を付けるのは、Unicode のガイドラインに沿った正当な判断と言えます。

ただし、その CSV を別のプログラムが読み込む場合は、そのプログラムが BOM を取り除けるかを確認してください。
「Excel 用」と「プログラム連携用」で、出力を分けた方が堅実な場面もあると思います。

読み込む側

形式を問わず、先頭の EF BB BF を受け入れて取り除いてください。
BOM の付加が禁止されている JSON でも、読み手は BOM を「無視して良い」とされています。
取り除かないと、CSV の先頭の列名が id ではなく id になり、id という列名で値を取り出せない、といった不具合が起きます。

この不具合は、画面上では BOM が見えないため、原因の特定に時間が掛かります。
「列名は合っているのに、なぜか最初の列だけ取り出せない」という症状が出たら、BOM を疑ってください。

ファイルの連結に注意

BOM 付きのファイルをそのまま連結すると、連結した位置に U+FEFF が残ります。
Unicode の仕様は、先頭以外の U+FEFF は「テキストの一部(ゼロ幅改行なしスペース)」として扱われてしまうと注意しています。
YAML では、ドキュメントの途中にある BOM はエラーになります(ドキュメントの先頭であれば問題ありません)。

3. 文字エンコーディングの識別方法

読み手は、受け取ったテキストの文字エンコーディングをどうやって知るのでしょうか ?
その方法も、形式ごとに違います。

ファイルの中で文字エンコーディングを名前で宣言できるのは、XML だけです。
YAML は、BOM と先頭バイトのパターンで判定します。
JSON は判定をせず、UTF-8 と決め打ちします。
CSV は、ファイルの外(MIME の charset)でしか示せません。

形式 ファイル内の手がかり ファイル外の手がかり 手がかりがないとき
XML BOM、XML 宣言の encoding HTTP / MIME の charset UTF-8
YAML BOM、先頭バイトのヌルの並び (規定なし) UTF-8
JSON (なし。BOM は禁止) charset は効果なし UTF-8
CSV (なし) MIME の charset US-ASCII(一般的用法)

この表の通り、「手がかりがないとき」に UTF-8 とみなされないのは CSV だけです。
CSV の文字エンコーディングで問題が起きやすいのは、仕様が識別の手段を用意していないからなのです。

3-1. XML:符号化宣言と自動検出

XML には、「文字エンコーディングが分からないと、文字エンコーディングを書いた宣言を読めない」という矛盾があります。
XML は、この矛盾を、宣言の位置と使える文字を縛ることで解決しています。

XML 宣言は文書の最初に置かれ、必ず <?xml で始まります。
また、文字エンコーディングの名前は、ASCII の英数字と . _ - だけで書くと決められています。
このため、先頭の数バイトを見れば、文字エンコーディングの「族」(ASCII 互換・UTF-16・UTF-32・EBCDIC)までは分かります。
その先は、宣言を読んで具体的な名前を特定する仕組みです。

<!-- Shift_JIS で保存した XML 文書の先頭の例 -->
<?xml version="1.0" encoding="Shift_JIS"?>

書き手のルール

  1. UTF-8 なら、BOM も宣言も不要です(あっても構いません)。純粋な ASCII の文書も、UTF-8 として扱われます。
  2. UTF-16 なら、BOM が必須です。
  3. UTF-8・UTF-16 以外なら、外部の情報(HTTP のヘッダーなど)が無い限り、encoding 宣言が必須です。
  4. 宣言には IANA の登録名を使います。日本語なら Shift_JIS、EUC-JP、ISO-2022-JP で、未登録の文字エンコーディングは x- で始めます。名前は大文字小文字を区別せずに照合されます。
  5. 宣言と実際の文字エンコーディングを、必ず一致させます。テキストエディタで保存し直して文字エンコーディングだけが変わると、宣言と食い違って致命的エラーになります。
  6. 外部実体(別ファイル)ごとに文字エンコーディングを変えても構いません。その場合は、各ファイルの先頭にテキスト宣言(例:<?xml encoding="EUC-JP"?>)を置きます。

5番目の「保存し直し」は、実務で非常によく起きる失敗です。
例えば、encoding="Shift_JIS" と宣言された XML を、エディタで UTF-8 に変換して保存すると、宣言だけが古いまま残ります。
文字エンコーディングを変換するときは、宣言も一緒に書き換えてください。

読み手(XML プロセッサ)の判定手順

以下は、XML 仕様の付録F に書かれた手順です。
付録F は規範ではない参考扱いの解説ですが、多くの XML パーサが同様の手順で判定しています。

  1. 外部情報(HTTP の Content-Type の charset など)がある場合、それと BOM・宣言のどちらを優先するかは、上位のプロトコルの決まりに従います。ファイルの場合は、BOM と encoding 宣言で判定します。
  2. 先頭に BOM があれば、それで文字エンコーディングが決まります(EF BB BF → UTF-8、FE FF → UTF-16 ビッグエンディアン、FF FE → UTF-16 リトルエンディアン、ほかに UCS-4 の4通り)。
  3. BOM が無ければ、先頭4バイトを <?xml の符号化パターンと照合します。3C 3F 78 6D なら ASCII 互換族(UTF-8、Shift_JIS、EUC-JP、ISO 8859 など)、00 3C 00 3F / 3C 00 3F 00 なら 16 ビット族、4C 6F A7 94 なら EBCDIC です。
  4. 族が分かったら、encoding 宣言を読んで文字エンコーディングを確定します。宣言が無ければ UTF-8 です。
  5. BOM で文字エンコーディングが分かった場合も、宣言があれば読んで、一致しているかを確認します。

致命的エラーになるケース

次の場合は致命的エラーになり、XML プロセッサは処理を続けてはいけません。

  • 宣言と異なる文字エンコーディングで渡された(外部情報が無い場合)
  • BOM も宣言も無いのに、UTF-8 以外だった
  • XML プロセッサが対応していない文字エンコーディングだった
  • 判定した文字エンコーディングとして不正なバイト列を含んでいた(不正な UTF-8 を含む、など)
  • テキスト宣言が、外部実体の先頭以外の位置にあった

XML は、HTML と違い、文字化けを推測で救済しません。
この厳密さが、他の3形式との最大の違いです。
「多少の文字化けは目をつぶって読み込む」という処理は、XML ではできないと考えてください。

3-2. YAML:BOM と「先頭は ASCII」による判定

YAML には、文字エンコーディングを名前で宣言する仕組みがありません。
その代わり、BOM が無い場合は「ストリームは ASCII 文字で始まらなければならない」という制約を使って判定します。

ASCII 文字を UTF-16 や UTF-32 で書くと、必ず 00 のバイトが混じります。
例えば「a」(61)は、UTF-16LE では 61 00、UTF-32BE では 00 00 00 61 です。
YAML は、この 00 の位置から文字エンコーディングを判定します。
仕様の表を、上から順に照合します。

  1. 00 00 FE FF → UTF-32BE(BOM)、00 00 00 xx → UTF-32BE
  2. FF FE 00 00 → UTF-32LE(BOM)、xx 00 00 00 → UTF-32LE
  3. FE FF → UTF-16BE(BOM)、00 xx → UTF-16BE
  4. FF FE → UTF-16LE(BOM)、xx 00 → UTF-16LE
  5. EF BB BF → UTF-8(BOM)
  6. どれにも当てはまらなければ UTF-8

この判定方法には、注意点が3つあります。

1つ目は、UTF-16・UTF-32 で先頭が日本語などの非 ASCII 文字の場合、BOM が無いと判定できないことです。
そのため、UTF-8 以外を使うときは、常に BOM を付けることが推奨されています。

2つ目は、Shift_JIS などはこの表では UTF-8 と判定されることです。
Shift_JIS の YAML ファイルは、文字化けするか、不正な UTF-8 としてエラーになります。
YAML で日本語を扱うなら、UTF-8 で保存するしかないのです。

3つ目は、--- で区切った各ドキュメントの先頭に BOM を置くことはできても、文字エンコーディングを途中で変えることはできないことです。

3-3. JSON:判定しない(UTF-8 固定)

RFC 8259 は、文字エンコーディングを UTF-8 に固定したため、識別の仕組みを持っていません。
Content-Type: application/json; charset=Shift_JIS のように書いても、仕様に準拠した受信側では効果がありません。

非 ASCII 文字をどうしても避けたい場合は、あ(「あ」)のようなエスケープを使えば、ASCII 文字だけの JSON にできます。
ASCII は UTF-8 の部分集合なので、こうして作った JSON は UTF-8 としても正当です。

ちなみに、旧仕様の RFC 4627 には、先頭2文字が ASCII であることを利用して UTF-16・UTF-32 を判定する方法が書かれていました。
現行の RFC 8259 では、UTF-8 に固定したことで、この判定方法は不要になり削除されています。

3-4. CSV:ファイルの外で取り決める

CSV には、文字エンコーディングを書く場所がありません。
識別できるのは、MIME タイプの charset パラメータ(例:text/csv; charset=Shift_JIS)だけです。
ファイルとして受け渡す場合は、連携仕様書やファイル名の規則などで、文字エンコーディングを取り決めてください。

先頭の EF BB BF は、UTF-8 であることのほぼ確実な目印になります。
しかし、BOM の無い CSV の文字エンコーディングを内容から推測するのは経験則であり、仕様の裏付けはありません。
推測は、短いファイルや ASCII 文字が大半のファイルでは外れることがあります。
推測だけに頼る処理は、いつか必ず誤判定すると考えておいた方が良いでしょう。

4. 既定の文字エンコーディングに頼ってはいけない

ここまでの方針を守るには、プログラムやツールが「何も指定しないとき、どの文字エンコーディングで書くのか」を知っておく必要があります。
この既定値は、言語やツール、さらにはバージョンによって違います。
特に Windows では、同じ「UTF8」という指定でも BOM が付く場合と付かない場合があるので、注意が必要です。

ここでは、よく使われる PowerShell・.NET・Python の例を紹介します。

4-1. BOM の有無を確認する

まず、ファイルの先頭に BOM があるかどうかを確認する方法です。
PowerShell では、ファイルの先頭のバイトを16進数で表示すれば確認できます。
コマンド操作例の中に登場する $PWD とは、PowerShell のカレントディレクトリを示す変数です。

# data.csv の先頭3バイトを16進数で表示する
$bytes = [System.IO.File]::ReadAllBytes("$PWD\data.csv")
$bytes[0..2] | ForEach-Object { "{0:X2}" -f $_ }

# 実行結果(UTF-8 BOMあり)
EF
BB
BF

先頭が EF BB BF なら BOM 付き UTF-8、FF FE なら BOM 付き UTF-16LE です。
それ以外であれば BOM はありませんが、文字エンコーディングが UTF-8 かどうかは、この方法では分かりません。
このやり方は、BOM の有無を確かめるだけのもので、文字エンコーディングそのものの判定はできないのです。

4-2. PowerShell の既定値

PowerShell は、Windows に標準で入っている Windows PowerShell 5.1 と、別途インストールする PowerShell 7.x で、文字エンコーディングの既定値が大きく違います。

操作 Windows PowerShell 5.1 PowerShell 7.x
Out-File・リダイレクト(>)の既定 UTF-16LE(BOM あり) UTF-8(BOM なし)
Set-Content の既定 ANSI(日本語環境では Shift_JIS) UTF-8(BOM なし)
-Encoding UTF8 を指定 UTF-8(BOM あり) UTF-8(BOM なし)
BOM 付き UTF-8 を明示 (-Encoding UTF8 と同じ) -Encoding utf8BOM
BOM なし UTF-8 を明示 指定方法が無い -Encoding utf8NoBOM

この表で分かる通り、Windows PowerShell 5.1 では、-Encoding UTF8 を指定すると BOM が付きます。
そして、BOM なしの UTF-8 を書き出す指定方法がありません。
Windows PowerShell 5.1 で JSON を出力すると、BOM 付きになって RFC 8259 に違反してしまうのです。

Windows PowerShell 5.1 で BOM なし UTF-8 を書き出すには、.NET のクラスを直接使います。

# Windows PowerShell 5.1 で、BOM なし UTF-8 の JSON を書き出す
$json = Get-Content "$PWD\source.json" -Raw -Encoding UTF8
$utf8NoBom = New-Object System.Text.UTF8Encoding $false
[System.IO.File]::WriteAllText("$PWD\output.json", $json, $utf8NoBom)

UTF8Encoding の引数の $false が、「BOM を付けない」という指定です。
ご覧の通り、Windows PowerShell 5.1 では BOM なし UTF-8 の出力に .NET の知識が必要で、手軽とはいえません。
PowerShell 7.x を使える環境であれば、そちらを使うことをお勧めします。

4-3. .NET(C# など)の既定値

.NET では、File.WriteAllText のように文字エンコーディングを指定しないメソッドは、BOM なしの UTF-8 で書き出します。
しかし、Encoding.UTF8 を明示的に指定すると、逆に BOM が付きます。

// 文字エンコーディングを指定しない → UTF-8(BOM なし)
File.WriteAllText("output.json", json);

// Encoding.UTF8 を指定する → UTF-8(BOM あり)
File.WriteAllText("output.csv", csv, Encoding.UTF8);

// BOM なしを明示する → UTF-8(BOM なし)
File.WriteAllText("output.json", json, new UTF8Encoding(false));

「念のため UTF-8 を明示しておこう」と Encoding.UTF8 を指定すると、BOM が付いてしまうのです。
JSON を書き出すときは、new UTF8Encoding(false) で BOM なしを明示した方が、意図が読み手に伝わります。
逆に、Excel で開くための CSV であれば、Encoding.UTF8 で BOM を付けるのが適切です。

4-4. Python の既定値

Python の open() は、encoding を指定しないと、実行環境に応じた既定の文字エンコーディングを使います。
Windows では、バージョンや設定によって、日本語環境の既定である cp932(Shift_JIS の Microsoft 拡張)になる場合があります。
よって、Python でファイルを開くときは、常に encoding を指定するのが堅実です。

# 読み込み:utf-8-sig を指定すると、先頭の BOM があれば取り除き、無ければそのまま読む
with open("data.csv", encoding="utf-8-sig", newline="") as f:
    text = f.read()

# 書き出し(プログラム連携用):utf-8 は BOM を付けない
with open("output.json", "w", encoding="utf-8") as f:
    f.write(json_text)

# 書き出し(Excel で開く CSV):utf-8-sig は BOM を付ける
with open("for_excel.csv", "w", encoding="utf-8-sig", newline="") as f:
    f.write(csv_text)

読み込み時の utf-8-sig は、BOM の有無に関わらず正しく読めるので、「BOM は読んで捨てる」の方針にそのまま当てはまります。
一方、encoding="utf-8" で BOM 付きのファイルを読むと、BOM が文字列の先頭に U+FEFF として残ります。
その文字列を json.loads() に渡すと、「Unexpected UTF-8 BOM」というエラーになります。

整理すると、どの言語・ツールでも、文字エンコーディングを指定しないときの動作と、「UTF8」を指定したときの BOM の有無を、一度は確認しておく必要があります。
既定値に頼らず、BOM の有無まで含めて明示的に指定するのが、最も確実な対策です。

5. 実装チェックリスト

新しい入出力処理を書くときや、コードレビューのときに、次の項目を確認してください。

5-1. 書き出し側

  • 文字エンコーディングを UTF-8 にした(JSON は必須、他の形式でも推奨)
  • UTF-8 に BOM を付けていない(受け手が要求する場合を除く。JSON では例外なし)
  • 言語やライブラリの既定の文字エンコーディングに頼らず、UTF-8 と BOM の有無を明示した
  • XML:宣言の encoding と、実際の文字エンコーディングが一致している。UTF-16 なら BOM を付けた
  • XML:文字列で組み立てた XML を、宣言と異なる文字エンコーディングで保存していない
  • YAML:UTF-8 以外を使うなら BOM を付けた。複数ドキュメントを同じ文字エンコーディングで出力した
  • CSV:文字エンコーディングを受け手と取り決めた。HTTP で渡すなら charset を付けた
  • CSV:Excel で開く用途なら、BOM 付き UTF-8 にした
  • ファイルを連結する処理で、途中に BOM が残らない

5-2. 読み込み側

  • 先頭の UTF-8 BOM(EF BB BF)を受け入れ、内容から取り除いている(JSON でも無視して良い)
  • 不正なバイト列を黙って置換文字(U+FFFD)にするかどうか、方針を決めた(XML では致命的エラー)
  • XML:文字エンコーディングの判定を自前でせず、バイト列のまま XML パーサに渡している(文字列に変換してから渡すと、宣言との食い違いが起きる)
  • XML:使う XML パーサが、どの文字エンコーディング(Shift_JIS、EUC-JP など)に対応しているか確認した
  • YAML:UTF-16・UTF-32 の入力も想定したか、対応範囲を明記した
  • CSV:文字エンコーディングを外から指定できるようにした(推測だけに頼らない)
  • HTTP で受け取る場合、Content-Type の charset とファイル内の情報(BOM・宣言)のどちらを優先するか決めた

文字エンコーディングの問題は「読み手」で防ぐ

以上、CSV・XML・JSON・YAML を扱うときの、文字エンコーディングの注意事項の解説でした。

4つの形式の仕様を並べてみると、「UTF-8・BOM なし」で書けば、どの仕様にも適合することが分かります。
しかし、現実には BOM 付きのファイルも、Shift_JIS の CSV も、これからも送られてくるでしょう。
書き手の側を全て揃えることは、現実的にはできません。

だからこそ、読み込む側で BOM を取り除き、文字エンコーディングを推測に頼らず指定できるようにしておくことが重要なのです。
「書くときは厳密に、読むときは寛容に」というのが、私の考える現実的な落としどころです。

この記事を、データ連携の設計やコードレビューの際の確認資料として、ご利用ください。

参照資料

各仕様の英語原文と日本語訳、形式を横並びにした比較表は、姉妹編のページにまとめています。

テキスト規格の文字エンコーディング規約(Unicode・CSV・XML・JSON・YAML)

各仕様の原文は、以下の公式サイトで確認する事をお勧めします。