sql - Postgres jsonb 查询动态值
问题描述
在用户表中,我有一个experience
具有以下 json 结构的 jsob 列:
[
{
"field": "devops",
"years": 9
},
{
"field": "backend dev",
"years": 7
}
... // could be N number of objects with different values
]
业务需求
客户可以要求在任何领域具有经验并在每个领域具有各自多年经验的人
这是一个示例查询
SELECT * FROM users
WHERE
jsonb_path_exists(experience, '$[*] ? (@.field == "devops" && @.years > 5)') and
jsonb_path_exists(experience, '$[*] ? (@.field == "backend dev" && @.years > 5)')
LIMIT 3;
问题
假设我收到请求
[
{ field: "devops", years: 5 },
{ field: "java", years: 6 },
{ field: "ui/ux", years: 2 }] // and so on
如何动态创建查询而不用担心 sql 注入?
技术栈
- 节点
- 打字稿
- 类型ORM
- Postgres
解决方案
指数
首先,您需要索引支持。我建议使用jsonb_path_ops
如下索引:
CREATE INDEX users_experience_gin_idx ON users USING gin (experience jsonb_path_ops);
看:
询问
还有一个可以利用该索引的查询(100% 相当于您的原始索引):
SELECT *
FROM users
WHERE experience @? '$[*] ? (@.field == "devops" && @.years > 5 )'
AND experience @? '$[*] ? (@.field == "backend dev" && @.years > 5)'
LIMIT 3;
需要Postgres 12或更高版本,其中添加了 SQL/JSON 路径语言。
索引支持绑定到Postgres 中的运算符。运算@?
jsonb_path_exists()
符相当于. 看:
动态生成查询
SELECT 'SELECT * FROM users
WHERE experience @? '
|| string_agg(quote_nullable(format('$[*] ? (@.field == %s && @.years > %s)'
, f->'field'
, f->'years')) || '::jsonpath'
, E'\nAND experience @? ')
|| E'\nLIMIT 3'
FROM jsonb_array_elements('[{"field": "devops", "years": 5 },
{"field": "java", "years": 6 },
{"field": "ui/ux", "years": 2 }]') f;
生成上述形式的查询:
SELECT * FROM users
WHERE experience @? '$[*] ? (@.field == "devops" && @.years > 5)'::jsonpath
AND experience @? '$[*] ? (@.field == "java" && @.years > 6)'::jsonpath
AND experience @? '$[*] ? (@.field == "ui/ux" && @.years > 2)'::jsonpath
LIMIT 3;
全自动化
如何动态创建查询而不用担心 sql 注入?
将上述查询生成放入 PL/pgSQL 函数中以动态执行:
CREATE OR REPLACE FUNCTION f_users_with_experience(_filter_arr jsonb, _limit int = 3)
RETURNS SETOF users
LANGUAGE plpgsql PARALLEL SAFE STABLE STRICT AS
$func$
DECLARE
_sql text;
BEGIN
-- assert (you may want to be stricter?)
IF jsonb_path_exists (_filter_arr, '$[*] ? (!exists(@.field) || !exists(@.years))') THEN
RAISE EXCEPTION 'Parameter $2 (_filter_arr) must be a JSON array with keys "field" and "years" in every object. Invalid input was: >>%<<', _filter_arr;
END IF;
-- generate query string
SELECT INTO _sql
'SELECT * FROM users
WHERE experience @? '
|| string_agg(quote_nullable(format('$[*] ? (@.field == %s && @.years > %s)'
, f->'field'
, f->'years'))
, E'\nAND experience @? ')
|| E'\nLIMIT ' || _limit
FROM jsonb_array_elements(_filter_arr) f;
-- execute
IF _sql IS NULL THEN
RAISE EXCEPTION 'SQL statement is NULL. Should not occur!';
ELSE
-- RAISE NOTICE '%', _sql; -- debug first if in doubt
RETURN QUERY EXECUTE _sql;
END IF;
END
$func$;
称呼:
SELECT * FROM f_users_with_experience('[{"field": "devops", "years": 5 },
, {"field": "backend dev", "years": 6}]');
或使用不同的LIMIT
:
SELECT * FROM f_users_with_experience('[{"field": "devops", "years": 5 }]', 123);
db<>在这里摆弄
你应该熟悉 PL/pgSQL 来处理它并理解它。
SQL 注入是不可能的,因为...
- 强制执行有效的 JSON 输入
- JSON 值与原始 JSON 双引号连接。
- 最重要的是,每个生成
jsonpath
的值都用单引号引起来quote_nullable()
。
在讨论 SQL/JSON 路径表达式时,我使用一个来断言有效输入:
jsonb_path_exists (_filter_arr, '$[*] ? (!exists(@.field) || !exists(@.years))')
检查 JSON 数组中的每个对象以及是否缺少两个必需键 ( field
, ) 之一。years
推荐阅读
- node.js - 使用 Joi 和 Node,需要 2 个字段中的 1 个,但不允许两者都存在
- python - 为什么 Python 代码在终端中运行时不能在 Jupyter 笔记本中运行?
- python - Cloud Build 环境变量未传递给 GAE 上的 Django 应用
- python - __getattr__ 和 __setattr__ 在这段代码中的作用是什么?
- aws-lambda - CloudWatch 事件规则:自行禁用
- r - 更新 RSQLite 使用的 SQLite 版本
- mongodb - 是否可以在 mongodb 中查看传入查询以调试/跟踪问题?
- php - 如何在我的平台上建立大师班和学生之间的关系
- javascript - 选项卡关闭时清理 IndexedDB
- javascript - 控制台中的 Javascript 意外标识符错误