python - python有没有办法检测乱码或损坏的字符？

Question

python有没有办法检测如下的乱码或损坏的字符？我正在以 utf-8 格式读取文件，但未检测到这些字符无效。

従業員マスタ 
���������� 

标签： pythonpython-3.x

Answer 1

您的评论表明您有非常特定的字符集，因此我会尝试指定 unicode 字符的范围。您可以使用它们过滤掉这些范围之外的任何字符并相应地处理它们，例如删除它们或引发异常。

这是有关如何实现过滤的建议。

这是中文/日文/韩文字符的 unicode 范围。