java - 在 Python 中使用 Unicode 保持 Java 字符串偏移量一致
问题描述
我们正在构建一个调用 Java 程序的 Python 3 程序。Java 程序(这是我们无法修改的第 3 方程序)用于标记字符串(查找单词)并提供其他注释。这些注释采用字符偏移的形式。
例如,我们可以为程序提供字符串数据,例如"lovely weather today"
. 它提供类似于以下输出的内容:
0,6
7,14
15,20
其中0,6
与单词“lovely”7,14
相对应的偏移量是与单词“weather”15,20
相对应的偏移量,并且是与源字符串中的单词“today”相对应的偏移量。我们在 Python 中读取这些偏移量以提取这些点的文本并执行进一步处理。
只要字符在基本多语言平面 ( BMP ) 内,一切都很好。然而,当它们不是时,这个 Java 程序报告的偏移量在 Python 端显示都是错误的。
例如,给定字符串"I feel today"
,Java 程序将输出:
0,1
2,6
7,9
10,15
在 Python 方面,这些转换为:
0,1 "I"
2,6 "feel"
7,9 " "
10,15 "oday"
最后一个索引在技术上无效的地方。Java 将 "" 视为长度 2,从 Python 程序的角度来看,这会导致该点之后的所有注释都偏离 1。
这可能是因为 Java 在内部以 UTF-16esqe 方式对字符串进行编码,并且所有字符串操作都作用于那些 UTF-16esque代码单元。另一方面,Python 字符串似乎对实际的 unicode 字符(代码点)进行操作。因此,当一个字符出现在 BMP 之外时,Java 程序将其视为长度 2,而 Python 将其视为长度 1。
所以现在的问题是:在 Python 使用它们之前“纠正”这些偏移量的最佳方法是什么,以便注释子字符串与 Java 程序打算输出的内容一致?
解决方案
您可以将字符串转换为 UTF16 编码的字节数组,然后使用偏移量(乘以 2,因为每个 UTF-16 代码单元有两个字节)来索引该数组:
x = "I feel today"
y = bytearray(x, "UTF-16LE")
offsets = [(0,1),(2,6),(7,9),(10,15)]
for word in offsets:
print(str(y[word[0]*2:word[1]*2], 'UTF-16LE'))
输出:
I
feel
today
或者,您可以将字符串中的每个 python 字符单独转换为 UTF-16 并计算它需要的代码单元数。这使您可以将根据代码单元(来自 Java)的索引映射到根据 Python 字符的索引:
from itertools import accumulate
x = "I feel today"
utf16offsets = [(0,1),(2,6),(7,9),(10,15)] # from java program
# map python string indices to an index in terms of utf-16 code units
chrLengths = [len(bytearray(ch, "UTF-16LE"))//2 for ch in x]
utf16indices = [0] + list(itertools.accumulate(chrLengths))
# reverse the map so that it maps utf16 indices to python indices
index_map = dict((x,i) for i, x in enumerate(utf16indices))
# convert the offsets from utf16 code-unit indices to python string indices
offsets = [(index_map[o[0]], index_map[o[1]]) for o in utf16offsets]
# now you can just use those indices as normal
for word in offsets:
print(x[word[0]:word[1]])
输出:
I
feel
today
上面的代码很混乱,可能会更清楚,但你明白了。
推荐阅读
- javascript - 如何在 window.redirect 中使用 onclick 功能?
- python-3.x - 循环一维数组计算与二维数组计算的 Python/Numpy 性能
- android - 如何使用 Searchview 显示“未找到结果”
- python - 使用python比较Sqlite 3中的多个表
- postgresql - postgresql 持久化数据:命名卷或绑定挂载更好
- java - 使用 jdom 设置多个具有不同前缀的命名空间
- scroll - 滚动事件后在 Gtk.DrawingArea() 中维护开罗绘图
- c - Keil stm32,使用汇编,分散文件和c。如何将c代码入口点导出到程序集?
- javascript - Jquery 对话框上的关闭按钮
- python - 将列重新排列到熊猫中的下一行