hive - 如何避免跨 hive 并计算 hive 中的 cos 相似性？

Question

我有两张桌子。一个包含 100 万条记录，另一个包含 2000 万条记录。

table 1 scheme is:
CREATE TABLE IF NOT EXISTS keyword_vector
(keyword string, vec array<double>)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
STORED AS TextFile;

table 1
keyword,     vec
apple       (1, 1)
orange      (2, 2)
banana      (3, 3)
cat         (4, 4)
dog         (5, 4)
....
table 2 schema:
CREATE TABLE IF NOT EXISTS dict_keyword_vector
(keyword string, vec array<double>)
 ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
 STORED AS TextFile;

table 2
keyword         vec
fruit          (55, 11)
animal         (33, 22)
pear           (44, 66)
kiwi           (22, 11)
peach          (11, 33)
....

我需要使用公式 cos_simlairy = a b/(|a| |b|)，这个公式来自https://en.wikipedia.org/wiki/Cosine_similarity
然后得到结果的排名，并获得前 5 名按相似度排序。他们的结果是这样的：

value from table 1, top 5 for each value in table 1
(1, 1), (1*44 + 1*66)/sqrt(1 + 1)*sqrt(44*44 + 66*66)
(1, 1), (1*55 + 1*11)/sqrt(1 + 1)*sqrt(55*55 + 11*11)
(1, 1), (1*33 + 1*22)/sqrt(1 + 1)*sqrt(33*33 + 22*22) 
(1, 1), (1*11 + 1*33)/sqrt(1 + 1)*sqrt(11*11 + 33*33)
(1, 1), (1*22 + 1* 11)/sqrt(1 + 1)*sqrt(22*22 + 11*11)
.....

我尝试在配置单元中使用交叉连接。但由于表太大，我总是失败。

标签： hivecosine-similaritycross-join