UnicodeDecodeError: 'utf-8' codec can't decode byte

1
2
3

# UTF-8として読み込もうとしているが、実際はShift_JIS
with open('file.txt', 'r') as f:
    content = f.read()  # UnicodeDecodeError

1
2
3

# 画像ファイルをテキストとして開く
with open('image.png', 'r') as f:
    content = f.read()  # UnicodeDecodeError

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

# Shift_JIS (CP932)
with open('file.txt', 'r', encoding='cp932') as f:
    content = f.read()

# Latin-1
with open('file.txt', 'r', encoding='latin-1') as f:
    content = f.read()

# UTF-16
with open('file.txt', 'r', encoding='utf-16') as f:
    content = f.read()

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

import chardet

# バイナリモードで読み込んでエンコーディングを検出
with open('file.txt', 'rb') as f:
    raw = f.read()
    result = chardet.detect(raw)
    encoding = result['encoding']

# 検出したエンコーディングで読み込み
with open('file.txt', 'r', encoding=encoding) as f:
    content = f.read()

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

# エラーを無視
with open('file.txt', 'r', encoding='utf-8', errors='ignore') as f:
    content = f.read()

# 置換文字で置き換え
with open('file.txt', 'r', encoding='utf-8', errors='replace') as f:
    content = f.read()

# バックスラッシュエスケープ
with open('file.txt', 'r', encoding='utf-8', errors='backslashreplace') as f:
    content = f.read()

1
2
3
4
5
6
7
8
9

# バイナリモードで読み込み
with open('file.txt', 'rb') as f:
    content = f.read()

# 後でデコードを試みる
try:
    text = content.decode('utf-8')
except UnicodeDecodeError:
    text = content.decode('cp932')

1
2
3
4
5
6
7

import pandas as pd

# エンコーディングを指定
df = pd.read_csv('file.csv', encoding='cp932')

# エンコーディングエラーを無視
df = pd.read_csv('file.csv', encoding='utf-8', encoding_errors='ignore')

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

import requests

response = requests.get('https://example.com')

# レスポンスのエンコーディングを確認
print(response.encoding)

# 明示的にエンコーディングを設定
response.encoding = 'utf-8'
content = response.text