postgresql - 无法使用 aws_s3.query_export_to_s3 函数在 S3 中将 AWS RDS Postgres 表导出为 CSV
问题描述
我密切关注有关将 AWS RDS Postgres 表作为 CSV 导出到 S3 的文档,但仍然无法使其工作。 文档网址
更具体地说,在创建aws_s3
扩展之后
CREATE EXTENSION IF NOT EXISTS aws_s3 CASCADE;
我试图执行这个功能:
SELECT * from aws_s3.query_export_to_s3('select * from users limit 10', 'sample-s3-bucket', '/users_demo.csv');
失败并出现以下错误:
[42883] 错误:函数 aws_s3.query_export_to_s3(未知、未知、未知)不存在 提示:没有函数与给定名称和参数类型匹配。您可能需要添加显式类型转换。
此错误未记录(或我找不到相关文档)。似乎aws_s3.query_export_to_s3
扩展中实际上缺少该功能!
我试图看看这个功能aws_s3.query_export_to_s3
是否真的缺失。我已经尝试过:
- 列出可用的扩展会显示
aws_s3
esxtension 已安装:
SELECT * FROM pg_available_extensions where name like '%aw%';
结果:
name | default_version | installed_version | comment
-------------+-----------------+-------------------+---------------------------------------------
aws_s3 | 1.0 | 1.0 | AWS S3 extension for importing data from S3
aws_commons | 1.0 | 1.0 | Common data types across AWS services
(2 rows)
- 列出扩展函数不显示
query_export_to_s3
函数:
SELECT e.extname, ne.nspname AS extschema, p.proname, np.nspname AS proschema
FROM pg_catalog.pg_extension AS e
INNER JOIN pg_catalog.pg_depend AS d ON (d.refobjid = e.oid)
INNER JOIN pg_catalog.pg_proc AS p ON (p.oid = d.objid)
INNER JOIN pg_catalog.pg_namespace AS ne ON (ne.oid = e.extnamespace)
INNER JOIN pg_catalog.pg_namespace AS np ON (np.oid = p.pronamespace)
WHERE d.deptype = 'e' AND e.extname like '%aws%'
ORDER BY 1, 3;
结果:
extname | extschema | proname | proschema
-------------+-----------+------------------------+-------------
aws_commons | public | create_aws_credentials | aws_commons
aws_commons | public | create_s3_uri | aws_commons
aws_s3 | public | table_import_from_s3 | aws_s3
aws_s3 | public | table_import_from_s3 | aws_s3
(4 rows)
- 最后,删除并重新创建扩展 aws_s3 不起作用。
更多信息:PostgreSQL 12.3 on x86_64-pc-linux-gnu
。
任何人都可以确认这个功能实际上是缺失的吗?换句话说,任何人都可以使用这个功能吗?
解决方案
尝试升级到 Postgres 12.4。我遇到了类似的问题,这就是 AWS 支持告诉我的(回复粘贴在下面)。[编辑]
更新
最初我没有完全完成这项工作,但可以确认升级到 Postgres 12.4,并且删除并重新创建扩展是有效的。
DROP EXTENSION aws_s3 CASCADE;
DROP EXTENSION aws_commons CASCADE;
CREATE EXTENSION aws_s3 CASCADE;
AWS Support 的原始回复:
根据 describe-db-engine-versions[1] 的输出,我可以看到只有以下特定引擎版本支持 s3Export 功能。因此版本 12.2 不支持导出到 S3 功能。
[
{
"Engine": "postgres",
"EngineVersion": "10.14",
"SupportedFeatureNames": [
"s3Import",
"s3Export"
]
},
{
"Engine": "postgres",
"EngineVersion": "11.9",
"SupportedFeatureNames": [
"s3Import",
"s3Export"
]
},
{
"Engine": "postgres",
"EngineVersion": "12.4",
"SupportedFeatureNames": [
"s3Import",
"s3Export"
]
} ]
推荐阅读
- php - 使用 ReactJS 作为前端,PHP 作为后端获取后端数据
- botframework - 如何通过 REST API 为连接到 Microsoft Teams 频道的机器人获取机器人 ID 和用户 ID
- python-3.x - Python N-Queen 解决方案说明
- javascript - 如何使用 sinon 存根非对象函数
- okta - 如何在没有回调的情况下获得 OKTA 隐式响应(桌面应用程序)
- excel - VBA将工作表(带变量名)从另一个工作簿复制到当前工作簿并在当前工作簿中重命名
- python - 类方法 TypeError "Int object not callable"
- ionic-framework - Ionic 4 + FCM - 如何自定义 Firebase 云消息 (FCM) 通知图标和颜色?
- ansible - 数组上的数组创建文件夹ansible
- javascript - 为什么这个 Javascript 代码没有添加到输入中?