bash - 标记 bash 脚本命令

Question

我计划为命令行创建 Word2vec 嵌入。要创建 Word2vec，我需要对命令行进行标记。关于什么是标记命令行的最佳方法的任何建议？

许多现有的标记器使用空格或我们提到的任何分隔符，如 (, .)。但是想要检查任何更好的标记器，因为这些分隔符不适用于像这样的示例案例

/bin/bash -l -c docker rmi $(docker images | awk '{print $3}'); true

标签： bashtokenizeword2vec