apache-spark - 如何将文件加载到每个工作人员？
问题描述
我正在寻找一种方法来分发一个巨大的文件（8gb，即 word2vec 预训练嵌入）以供每个工作人员使用。
事实上，我有一个程序来计算每个文档的嵌入作为其词向量的总和。每个词都有一个向量。
无论如何，每个工人都可以下载这个文件吗？
它与以下内容完全相同：如何在每个执行程序中加载一次文件？ 问候
解决方案
推荐阅读
- android - 检测 Jetpack Compose 上的滑动方向
- html - 如何在 Angular 10 中使用动态组件创建动态 html？
- snakemake - 为多个数据集运行蛇形管道
- node.js - 如何创建管理员兄弟图像字段
- common-lisp - 对单个文件使用 ASDF 的 :around-compile
- sql - SQL 在多对多关系中查找不属于特定集合的所有元素
- python - Python：如何改进重复代码？
- excel - VBA: if-else-statement 运行时错误'-2147417848 (80010108)'
- c# - Blazor 基于角色的授权 - 没有“Microsoft.AspNetCore.Identity.RoleManager”类型的服务
- javascript - Angular Karma 测试：方法不会改变类属性？