python - 在python中转换为阿拉伯语文本
问题描述
我在 mysql 表中有 charset-utf-8 的数据。我有一个 pyspark 脚本,它加载 mysql 数据并在 s3 存储桶中写入一个 parquet 文件。从 mysql 获取数据时,我得到以下格式的数据:
'الشرقية'
然后我将它转换为 utf-8 编码,得到以下 unicode 字符串:
'\xc3\x98\xc2\xa7\xc3\x99\xe2\x80\x9e\xc3\x98\xc2\xb4\xc3\x98\xc2\xb1\xc3\x99\xe2\x80\x9a\xc3\x99\xc5\xa0\xc3\x98\xc2\xa9'
之后,我将其解码为 mac_arabic 编码,然后我得到以下文本:
'أ»آ'أôقÄûأ»آ٤أ»آ١أôقÄöأôإ أ»آ)'
有没有办法从这些字符串中的任何一个生成阿拉伯文本。
下面是代码
sqlContext = SQLContext(sc)
df = sqlContext.read.format("jdbc").options(
url="jdbc:mysql://localhost/db_name",
driver="com.mysql.jdbc.Driver",
dbtable="table",
user="root",
password="root"
).load()
df.show()
对于下表中的列,设置了配置:CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci DEFAULT NULL
为以下数据库设置了配置:ENGINE=InnoDB AUTO_INCREMENT=42627 DEFAULT CHARSET=latin1
提前致谢。
解决方案
您平台上的 JDBC 驱动程序版本默认不使用 UTF-8 编码。如上面评论中所述,尝试将编码显式传递给驱动程序:
df = sqlContext.read.format("jdbc").options(
url="jdbc:mysql://localhost/db_name?characterEncoding=utf8",
driver="com.mysql.jdbc.Driver",
dbtable="table",
user="root",
password="root").load()
推荐阅读
- javascript - 使用 fetch API 和 NodeJS(express)
- python - 在pygame中出现游戏结束屏幕后重新启动蛇游戏
- c++ - 需要一个标识符
- python - 使用 pip 安装 wheel 文件后,找不到模块错误
- java - 在所有嵌套实体中选择几个:SPRING JPA
- c - 有没有办法为多个参数编号和类型定义一个“通用”结构
- django - 当我在 admin 中单击自定义用户模型中的用户时,出现错误(django)
- javascript - 未捕获的类型错误:无法读取 null 的属性“2”
- azure-application-insights - Application Insights - 如何设置自定义操作 ID
- python-3.x - 异常值:(1054,“'字段列表'中的未知列'social_auth_usersocialauth.created'”)