首页 > 解决方案 > 如何将具有相似类型技能的集群组合在一起?

问题描述

假设我有一个文件,其中包含从 AZ 开始的数千种技能。现在,我想创建一个可以将相似技能组合在一起的模型(例如神经网络和 SVM 可以组合在一起)。我知道我可以使用 NLP 来解决这个问题,但我不确定我可以使用哪种算法来获得最佳结果。

我是 NLP 的新手,因此非常感谢任何帮助。

起初我在考虑使用语义相似性。所以我可以使用预训练的词嵌入将词映射到一个新的向量空间,我可以在其中计算词嵌入之间的距离,例如使用 word2vec 或其他实现。但我不确定这一点。你能给我一些链接或告诉我我该怎么做才能得到最好的结果吗?看看数据[1]:https ://i.stack.imgur.com/jGRI0.png

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 36943 entries, 0 to 36942
Data columns (total 1 columns):
Skills    36942 non-null object
dtypes: object(1)
memory usage: 288.7+ KB
None
                   Skills
0                    .NET
1                .NET CLR
2  .NET Compact Framework
3          .NET Framework
4           .NET Remoting

标签: pythonmachine-learningdeep-learningnlp

解决方案


根据您的情况,最好的选择之一可能是 Kohonen 神经网络。虽然,您需要根据监督学习对数据进行规范化,但您可以在下面的链接中获得与您的要求相关的所有内容: http ://www.kovera.org/neural-network-for-clustering-in-python/


推荐阅读