python - AWS Glue python shell 作业因内部服务错误而失败
问题描述
我在 AWS Glue 中运行一个 python shell 程序，但是在运行了大约 10 分钟后它失败并出现错误Internal service error。日志或错误日志不提供任何信息。大多数情况下，它只是说就失败了Internal service error，很少会运行 2 天并超时。该代码使用 pandas 进行转换，它看起来不错，它在本地机器上运行良好，进行了必要的更改，以便它可以在 AWS 胶水上工作[它将文件读/写到 s3 位置而不是本地文件夹]。这里有什么问题？任何输入表示赞赏。
解决方案
这个问题想通了。问题是由于对 s3 存储桶的访问问题，该作业无法下载依赖的 python 库。访问问题解决后，作业开始正常运行。
推荐阅读
- javascript - 如何获取拖动文件的文件名（放置前）
- spring-kafka - SeekToCurrentErrorHandler + ExponentialBackOff 将在 backOff 过去后记录错误，这是故意的吗？
- r - 有没有办法按以下方式划分两个数据帧并获得所需的输出，如下所示？
- sql - PostgreSQL 存储过程不允许使用 SELECT INTO 并抛出错误“INTO used with a command that cannot return data”
- ffmpeg - ffmpeg 如何使用 AV_SAMPLE_FMT_FLT 从 AVFrame 获取 PCM 浮点数
- nginx - nginx - 获取小时和工作日
- javascript - Firebase 没有保持身份验证状态
- angular - 从服务加载数组后，Angular如何调用函数？不同时
- ios - 将值保存到 UserDefaults
- javascript - 如何使用 React 钩子编辑帖子？这是我学习 react.js 的最大挑战