时间戳

首页 > 解决方案 > 你能让这个更快吗？句子到 Numpy 数组的映射

python - 你能让这个更快吗？句子到 Numpy 数组的映射

问题描述

我有一串韩语。我需要将它映射到一个 numpy 数组中，其中每个字母都以一种热的方式编码。

import numpy as np
import time

def embed_letter(x: str) -> np.array:
    # input: one Korean letter
    # maps the letter into ...
    # output: one-hot encoded np.array of size - (72,)
    time.sleep(0.0001) # to represent the time it takes to map ?
    return np.zeros((72,)) # to represent the mapped letter
    

def embed_sentence(sentence: str, max_length: int) -> np.array:
    embedded_char_list = []
    append = embedded_char_list.append
   
    end = len(sentence) if len(sentence) < max_length else max_length

    for i in range(end):
        append(embed_letter(sentence[i]))

    stacked = np.stack(embedded_char_list, axis=0)
    
    return stacked

# example usage
embed_sentence("11111111", 500)
# will output a numpy array containing zeros of shape (8, 72)

我想embed_sentence通过一种矢量化来加快速度embed_letter。你能做到这一点，如果可以怎么办？有没有其他方法可以加快速度？谢谢

标签： pythonnumpyvectorvectorizationembedding

解决方案

我希望您使用的是 Hangul_Jamo_Extended-B 字母集（72 个字符）。如果是这样，这应该可以完成工作：

# https://en.wikipedia.org/wiki/Hangul_Jamo_Extended-B
hangul_jamo_extended_b = [chr(a) for a in list(range(55216, 55239)) + list(range(55243, 55292))]
hangul_jamo_extended_b = np.array(hangul_jamo_extended_b)
print(hangul_jamo_extended_b)

>>> ['ힰ' 'ힱ' 'ힲ' 'ힳ' 'ힴ' 'ힵ' 'ힶ' 'ힷ' 'ힸ' 'ힹ' 'ힺ' 'ힻ' 'ힼ' 'ힽ' 'ힾ' 'ힿ' 'ퟀ' 'ퟁ'
 'ퟂ' 'ퟃ' 'ퟄ' 'ퟅ' 'ퟆ' 'ퟋ' 'ퟌ' 'ퟍ' 'ퟎ' 'ퟏ' 'ퟐ' 'ퟑ' 'ퟒ' 'ퟓ' 'ퟔ' 'ퟕ' 'ퟖ' 'ퟗ'
 'ퟘ' 'ퟙ' 'ퟚ' 'ퟛ' 'ퟜ' 'ퟝ' 'ퟞ' 'ퟟ' 'ퟠ' 'ퟡ' 'ퟢ' 'ퟣ' 'ퟤ' 'ퟥ' 'ퟦ' 'ퟧ' 'ퟨ' 'ퟩ'
 'ퟪ' 'ퟫ' 'ퟬ' 'ퟭ' 'ퟮ' 'ퟯ' 'ퟰ' 'ퟱ' 'ퟲ' 'ퟳ' 'ퟴ' 'ퟵ' 'ퟶ' 'ퟷ' 'ퟸ' 'ퟹ' 'ퟺ' 'ퟻ']

def embed_sentence(i: str):
    indices = np.searchsorted(hangul_jamo_extended_b, list(i))
    table = np.zeros((len(i), 72))
    table[np.arange(len(i)), indices] = 1
    return table

embed_sentence('ힰퟝힱퟺퟻ')
>>> ... np.array with one hot encoded chars

如果 np.searchsorted 对您不起作用，您应该以某种方式为您的映射找到索引。我建议制作字典并使用内置translate功能。https://www.w3schools.com/python/ref_string_translate.asp找到索引（如(3, 4, 12, 72, ...)）后，其余部分相同。

顺便说一句，对不起我的韩语不好:)

推荐阅读