amazon-web-services - AWS Athena - GENERIC_INTERNAL_ERROR:分区值的数量与过滤器的数量不匹配
问题描述
我在 Athena 中查询一个给出错误的表: GENERIC_INTERNAL_ERROR: Number of partition values does not match number of filters
我之前能够查询它,但添加了另一个分区(AWS 粘合作业)来尝试优化我稍后将在查询中执行的连接。我确实重新运行了爬虫来更新表以反映分区。
我想知道这个错误实际上意味着什么。
我尝试重新抓取数据,但没有运气。接下来,我将清除底层 S3 数据并从头开始重新处理整个数据集,然后重新抓取它。
SELECT *
FROM mydb.mytable
LIMIT 10
我想了解错误的含义,以及除了重新处理整个原始数据集并重新抓取之外,是否有其他方法可以解决它。
解决方案
我今天有同样的问题。就我而言,这是因为 s3 中的一些基础数据已被删除,因此 Glue 表中的分区数与 s3 中的文件数不匹配。
为了修复它,我只是删除了 Glue 中的表格,然后重新运行了爬虫。
推荐阅读
- screen-readers - Have screen reader pronounce Country codes in a text input as individual letters
- angular - Autodesk Forge Viewer - Angular
- java - Passing one message to just one messagelistener with Spring data redis
- css - React Bootstrap:对齐 col 使右侧的 col 显示在左侧 col 的顶部
- c# - How should I update existing table in the SQL Server database via C# and Windows forms?
- gitlab - Cypress test not finding element when ran in Gitlab CI
- flutter - Can I clear all my subscribed FCM topics by calling deleteToken?
- sql - 获取最接近凌晨 05:00 的记录。我有一个小时和分钟的专栏,需要获取最接近凌晨 5 点的记录。硬编码到凌晨 5 点也可以
- python - Does Python.NET have an analog of Py_InitModule() in C++?
- python - 在python中获取当前一周的开始和结束时间戳