ファイルを読み込んだり、Webから何かを取得したりしたときに、b'...'という表示を見たことはありませんか。文字のようにも見えるのに、先頭にbが付いていて、ところどころに\xe3のような記号が混じっている。
Pythonを学び始めたころは、これが何なのかよくわからず、そっと見なかったことにしがちです。そのまま文字列とつなげようとして、エラーで止まった経験がある方もいるでしょう。
この正体が、今回のテーマであるbytes型です。この記事では、strとの違いから、変換の方法、つまずきやすいエラー、書き換えられる仲間のbytearrayまでを順番に解説します。
サンプルの実行結果は、手元のLinux環境のPython 3.11で確認したものです。
bytes型とはどんな型なのか¶
まずは、bytes型の正体を押さえておきましょう。bytesは、0から255までの整数を1つずつ並べたものを表す型です。
コンピューターの中では、文字も画像も音声も、最終的にはバイトと呼ばれる小さな数の並びとして保存されています。1バイトは8ビットなので、表せる値は0から255までの256通りです。
ふだん使うstrは、人間が読む文字の並びを扱う型でした。それに対してbytesは、コンピューターが実際に保存したり送ったりする生のデータを、そのまま扱うための型です。
b''という書き方の意味¶
次に、コードの中でbytesを作る方法を見てみます。いちばん簡単なのは、文字列の前にbを付ける書き方です。
この書き方はbytesリテラルと呼ばれます。リテラルとは、コードの中に値を直接書いたもののことです。
data = b'ABC'
print(data) # b'ABC'
print(type(data)) # <class 'bytes'>
print(len(data)) # 3
見た目は文字列とほぼ同じですが、型はbytesです。中身は、Aを表す65、Bを表す66、Cを表す67という3つの数です。
ここで1つ注意があります。bytesリテラルの中には、英数字などのASCII文字しか書けません。ASCIIは、英字や数字、記号など128種類の文字を決めた古い規格です。
試しに日本語を書くと、実行する前の段階でエラーになります。
data = b'あ'
# SyntaxError: bytes can only contain ASCII literal characters
日本語のbytesが欲しいときは、このあと説明するencodeを使います。
strとbytesの違いを表で比べる¶
ここで、strとbytesの違いを整理しておきましょう。似ているようで、中身の考え方はかなり違います。
| 項目 | str | bytes |
|---|---|---|
| 中身 | 文字の並び | 0〜255の整数の並び |
| 書き方 | 'あいう' | b'abc' |
| 1つ取り出すと | 1文字のstr | int(整数) |
| len()が数えるもの | 文字の数 | バイトの数 |
| 主な使い道 | 画面に表示する文章 | ファイルや通信の生データ |
| 書き換え | できない | できない |
いちばん大事なのは、len()が数えるものの違いです。同じ1文字でも、bytesにすると何バイトになるかは文字コードによって変わります。
なお、strもbytesも中身を書き換えられないイミュータブルな型です。書き換えられる型とそうでない型の違いは、次の記事でくわしく解説しています。
【関連記事】Pythonのミュータブルとイミュータブルとは?変更できる型・できない型の違い
encodeとdecodeでstrとbytesを行き来する¶
では、strとbytesを変換する方法を見ていきましょう。文字列からbytesを作るのがencodeで、bytesから文字列に戻すのがdecodeです。
encodeは符号化、decodeは復号と訳されます。どちらも、どの文字コードのルールで変換するかを指定できます。
text = 'あ'
utf8 = text.encode('utf-8')
print(utf8) # b'\xe3\x81\x82'
print(len(text)) # 1
print(len(utf8)) # 3
sjis = text.encode('cp932')
print(sjis) # b'\x82\xa0'
print(utf8.decode('utf-8')) # あ
ひらがなのあは、文字としては1文字です。ところがUTF-8でbytesにすると3バイトになり、Windowsでよく使われるcp932では2バイトになりました。
\xe3という表示は、16進数でe3、つまり227という数のバイトを表しています。ASCIIで表せないバイトは、このように\xと2桁の16進数で表示される決まりです。
encodeとdecodeの引数を省略すると、Python 3ではUTF-8が使われます。ただ、読み手にとってどの文字コードかがはっきりするので、私は省略せずに書くようにしています。
文字コードが合わないとどうなるか¶
encodeとdecodeで、違う文字コードを使ってしまうとどうなるのでしょうか。たとえば、cp932で作ったbytesをUTF-8として読もうとすると、次のようなエラーになります。
b'\x82\xa0'.decode('utf-8')
# UnicodeDecodeError: 'utf-8' codec can't decode byte 0x82 in position 0: invalid start byte
これが、いわゆる文字化けやUnicodeDecodeErrorの正体です。bytesそのものは正しくても、読み方のルールを間違えると文字に戻せません。
文字コードの考え方や、文字化けの直し方は次の記事にまとめています。bytesと合わせて読むと、理解がぐっと深まるはずです。
【関連記事】Pythonの文字コードとは?文字化けとUnicodeDecodeErrorの直し方
errors引数で変換できない文字を扱う¶
ときには、一部が壊れたデータを読まなければならない場面もあります。そんなときは、decodeのerrors引数で、変換できないバイトの扱いを選べます。
選べる値のうち、よく使うものを表にまとめておきます。
| errorsの値 | 変換できないときの動き |
|---|---|
| strict | UnicodeDecodeErrorを出す(省略時) |
| replace | 置き換え用の記号に置き換える |
| ignore | そのバイトを捨てて先へ進む |
実際に、壊れたバイトを1つ混ぜて試してみましょう。
broken = b'\xe3\x81\x82\x82'
print(broken.decode('utf-8', errors='replace')) # あ�
print(broken.decode('utf-8', errors='ignore')) # あ
replaceは壊れた場所に印が残るので、どこがおかしいかに気づけます。ignoreは黙って捨ててしまうので、データが欠けたことに気づきにくい点に注意しましょう。
添字で取り出すと数が返ってくる¶
bytesを扱っていて、初心者が最初に驚くのがこの動きです。strなら1文字が返ってくる場面で、bytesは整数を返します。
data = b'ABC'
print(data[0]) # 65
print(data[0:1]) # b'A'
print(list(data)) # [65, 66, 67]
for b in data:
print(b) # 65, 66, 67 と順に表示される
data[0]は、b'A'ではなく65になりました。bytesの中身は数の並びなので、1つ取り出すと整数が出てくるわけです。
一方で、data[0:1]のようにスライスを使うと、長さ1のbytesが返ってきます。1バイトをbytesのまま扱いたいときは、スライスを使うと覚えておきましょう。
for文で回したときも、1つずつ整数が出てきます。文字のつもりでif b == 'A'と比べても、ずっと一致しないので気をつけてください。
strとbytesを混ぜたときのエラー¶
次は、よく見かけるエラーとその直し方です。Pythonは、strとbytesを自動では変換してくれません。
そのため、2つを混ぜて使うとTypeErrorになります。代表的なものを並べてみます。
b'abc' + 'def'
# TypeError: can't concat str to bytes
b'abc'.startswith('a')
# TypeError: startswith first arg must be bytes or a tuple of bytes, not str
bytes('あ')
# TypeError: string argument without an encoding
どれも、strとbytesのどちらかにそろえれば解決します。文章として扱いたいならdecodeしてstrに、データとして送りたいならencodeしてbytesにそろえましょう。
3つ目のbytes('あ')は、文字コードを指定していないことが原因です。bytes('あ', 'utf-8')のように指定するか、'あ'.encode('utf-8')と書けば動きます。
比べるとFalseになる落とし穴¶
エラーが出ないぶん、もっと気づきにくい落とし穴もあります。それは、strとbytesを==で比べたときです。
print(b'abc' == 'abc') # False
print(b'abc'.decode() == 'abc') # True
見た目は同じabcでも、型が違うので結果はFalseになります。エラーにならないため、条件分岐がずっと偽のまま進んでしまうことがあります。
私は以前、外部のサービスから受け取ったデータをb'OK'と比べるべきところで'OK'と比べてしまい、正常な応答を毎回失敗として扱っていたことがあります。テストでは文字列を渡していたので気づけず、本番のログを見てようやく原因がわかりました。
型の違いを調べたいときは、type()やisinstance()で確かめるのが近道です。迷ったら、まずprint(type(変数))を入れてみてください。
bytesを作るいろいろな方法¶
ここまではb''とencodeで作ってきましたが、ほかにもbytesを作る方法があります。場面に応じて使い分けられるよう、代表的なものを見ておきましょう。
print(bytes(3)) # b'\x00\x00\x00'
print(bytes([65, 66])) # b'AB'
print(bytes.fromhex('41 42')) # b'AB'
print(b'AB'.hex()) # 4142
print(b'AB'.hex(' ')) # 41 42
bytes(3)のように整数を渡すと、0で埋めた3バイトができます。数のリストを渡すと、その数を並べたbytesになります。
ただし、リストの中に256以上の数を入れると、bytes must be in range(0, 256)というValueErrorになります。1バイトで表せるのは0から255までだからです。
fromhexとhexは、16進数の文字列とbytesを行き来するためのメソッドです。fromhexは数の間の空白を許してくれるので、ログに出た値を貼り付けて確かめるときに便利です。
bytesをメールやJSONで送れる文字に変える方法としては、Base64もよく使われます。こちらは別の記事で解説しています。
【関連記事】PythonのBase64とは?バイナリを文字に変える仕組み
書き換えられるbytearray¶
bytesは書き換えができない型でした。中身を少しずつ書き換えたいときに使うのが、仲間のbytearrayです。
使い方はbytesとほとんど同じで、添字への代入やappendができる点が違います。
ba = bytearray(b'abc')
ba[0] = 65 # 先頭をAに書き換える
ba.append(33) # 末尾に ! を足す
print(ba) # bytearray(b'Abc!')
print(bytes(ba)) # b'Abc!'
data = b'abc'
data[0] = 65
# TypeError: 'bytes' object does not support item assignment
bytearrayは、受信したデータを少しずつためていく場面や、バイナリファイルの一部を書き換える場面で役立ちます。できあがったら、bytes()で包めば書き換えられないbytesに戻せます。
2つの違いを表で確認しておきましょう。
| 項目 | bytes | bytearray |
|---|---|---|
| 書き換え | できない | できる |
| 作り方 | b'abc' | bytearray(b'abc') |
| 辞書のキーに使う | できる | できない |
| 向いている場面 | 完成したデータの受け渡し | データを組み立てる途中 |
迷ったら、まずbytesを使い、書き換えたい理由があるときだけbytearrayを選べば十分です。
bytesが登場する場面¶
最後に、実務でbytesに出会う場面を紹介します。どこで出てくるかを知っておくと、b'...'を見ても慌てずにすみます。
| 場面 | bytesが出てくる理由 |
|---|---|
| open()を'rb'で開く | ファイルの中身をそのまま読むから |
| ネットワーク通信 | 送受信はバイト単位で行われるから |
| subprocessの出力 | コマンドの出力は生のバイトで届くから |
| hashlibでのハッシュ計算 | 入力がbytesでないといけないから |
たとえば、画像ファイルを開くときはモードに'rb'を指定します。このとき読み込まれる中身は、strではなくbytesです。
with open('photo.png', 'rb') as f:
head = f.read(8)
print(head) # PNG画像なら b'\x89PNG\r\n\x1a\n' のような値になる
テキストとして開いたときは、Pythonが裏でdecodeしてstrにしてくれています。'rb'で開くと、その変換をせずにbytesのまま渡してくれるわけです。
ファイルのモードについては、次の記事でくわしく解説しています。
【関連記事】Pythonのファイル読み書きとは?open()とwith文の基本
私が10年ほど開発に関わってきた中でも、外部のシステムとつなぐ部分では、bytesとstrの境目でトラブルが起きやすいと感じています。受け取ったらすぐdecodeし、送る直前にencodeするという線引きをチームで決めておくと、混乱がぐっと減りました。
まとめ¶
bytes型は、0から255までの整数を並べた、コンピューターが実際に扱う生のデータを表す型です。strが人間向けの文字の並びなら、bytesは機械向けのデータの並びだと考えるとわかりやすいでしょう。
strとbytesは、encodeとdecodeで行き来します。そのとき、変換に使う文字コードをそろえることが文字化けを防ぐいちばんの近道です。
添字で取り出すと整数が返ること、strと混ぜるとエラーやFalseになることも覚えておきましょう。書き換えが必要なときは、bytearrayという仲間がいます。
b'...'という表示は、もう怖いものではありません。入口でdecode、出口でencodeという考え方を身につければ、ファイルや通信を扱うコードも落ち着いて書けるようになります。
ここまでお読みいただきありがとうございました。