python - SQLAlchemy Unicode 难题

问题描述

我在使用 SQLAlchemy 处理 Unicode 时遇到了一个奇怪的问题。简而言之，当我将 Python unicode 字符串插入 MySQL 数据库的 Unicode 列时，我可以毫不费力地将其取出。然而，在数据库方面，它被存储为一个奇怪的 4 字节序列（不，这似乎与 MySQL 上的“utf8mb4”默认值无关）

我的问题是我有一个来自另一台机器的 MySQL 转储，其中包含 SQL 中的直接 UTF8 字符。当我尝试检索从另一台机器导入的数据时，我总是得到 UnicodeDecodeErrors。

下面我提供了一个说明问题的最小示例。

utf8test.sql：设置数据库并创建一行，其中包含 Unicode 字符
utf8test.py：使用 SQLAlchemy 打开数据库，使用 Python 的 UTF 字符思想插入 1 行，然后检索这两行。

事实证明，Python 可以很好地检索它自己插入的数据，但它对我放入 SQL 导入脚本中的文字 'ä' 犹豫不决。对 mysqldumped 数据集和 MySQL 本身的二进制数据文件的 hexdump 的调查表明，通过 SQL 插入的 UTF 字符是真正的交易（德语变音符号 'ä' = UTF 'c3 bc'），而 Python 插入的 'ä ' 被转换为我不理解的序列 'c3 83 c2 a4' （请参阅下面的 hexdump；我使用 'xxx' 和 'yyy' 作为标记以方便在 hexdump 中找到它们）。

任何人都可以对此有所了解吗？

这将创建测试数据库：

dh@jenna:~/python$ cat utf8test.sql
DROP DATABASE IF EXISTS utftest;
CREATE DATABASE utftest;
USE utftest;
CREATE TABLE x (
    id INTEGER PRIMARY KEY AUTO_INCREMENT,
        text VARCHAR(10)
        );
INSERT INTO x(text) VALUES ('xxxü');
COMMIT;
dh@jenna:~/python$ mysql < utf8test.sql

这是 Pyhton 脚本：

dh@jenna:~/python$ cat utf8test.py
# -*- encoding: utf8 -*-

from sqlalchemy import create_engine, Column, Unicode, Integer
from sqlalchemy.orm import sessionmaker
from sqlalchemy.ext.declarative import declarative_base

Base = declarative_base()
class X(Base):
    __tablename__ = 'x'
    id = Column(Integer, primary_key=True)
    text = Column(Unicode(10))

engine = create_engine('mysql://localhost/utftest',
    encoding='utf8')
Base.metadata.create_all(engine)
Session = sessionmaker(engine)

db = Session()
x = X(text=u'yyyä')
db.add(x)
db.commit()

rs = db.query(X.text).all()
for r in rs:
    print(r.text)

db.close()

当我运行脚本时会发生这种情况（当我在 utf8test.sql 中省略 INSERT INTO 位时运行没有错误）：

dh@jenna:~/python$ python utf8test.py
Traceback (most recent call last):
  File "utf8test.py", line 23, in <module>
      rs = db.query(X.text).all()
[...]
UnicodeDecodeError: 'utf8' codec can't decode
    byte 0xfc in position 3: invalid start byte

这是一个 hexdump，用于确认两个 ä 确实以不同方式存储在数据库中。使用 hd 我还确认 Python 和 SQL 脚本确实是 UTF。

dh@jenna:~/python$ mysqldump utftest | hd
00000000  2d 2d 20 4d 79 53 51 4c  20 64 75 6d 70 20 31 30  |-- MySQL dump 10|
00000010  2e 31 36 20 20 44 69 73  74 72 69 62 20 31 30 2e  |.16  Distrib 10.|
00000020  31 2e 33 37 2d 4d 61 72  69 61 44 42 2c 20 66 6f  |1.37-MariaDB, fo|
00000030  72 20 64 65 62 69 61 6e  2d 6c 69 6e 75 78 2d 67  |r debian-linux-g|
00000040  6e 75 20 28 69 36 38 36  29 0a 2d 2d 0a 2d 2d 20  |nu (i686).--.-- |
[...]
00000520  4c 45 20 4b 45 59 53 20  2a 2f 3b 0a 49 4e 53 45  |LE KEYS */;.INSE|
00000530  52 54 20 49 4e 54 4f 20  60 78 60 20 56 41 4c 55  |RT INTO `x` VALU|
00000540  45 53 20 28 31 2c 27 78  78 78 c3 bc 27 29 2c 28  |ES (1,'xxx..'),(|
00000550  32 2c 27 79 79 79 c3 83  c2 a4 27 29 3b 0a 2f 2a  |2,'yyy....');./*|

标签： pythonmysqlunicodesqlalchemy

c3 83 c2 a4是的“双重编码” ä。正如 Ilja 指出的那样。在这里进一步讨论

http://mysql.rjweb.org/doc.php/charcoll#fixes_for_various_cases提供了一个UPDATE修复数据的方法。

以下是可能需要在 Python 中修复的内容清单：http: //mysql.rjweb.org/doc.php/charcoll#python

但这很可怕：我看到c3 bc(Mojibake for ü)和 c3 83 c2 a4( 的双重编码ä。这意味着您在同一代码中发生了两个不同的问题。回到零点，确保您使用的是 utf8 (或 utf8mb4)事情的各个阶段。您的数据库可能过于混乱而无法恢复，因此请考虑重新开始。

# -*- encoding: utf8 -*-可能唯一的问题是缺少其中一个python 脚本。但不是。您确实需要它，但是在您使用它时发生了双重编码。

底线：您有多个错误。

python - SQLAlchemy Unicode 难题

问题描述

解决方案

推荐阅读