stored-procedures - 跨多个过程调用缓存 getdate() 的 Redshift 问题
问题描述
我想在执行过程时有时间戳,我使用 GETDATE() 但调用过程第二次、第三次等次,不断返回相同的时间戳,似乎 redshift 在 GETDATE() 上进行某种缓存?
好的 - getdate() 在程序之外,正确地不断返回不同的时间戳:
select getdate();
2021-03-09 13:03:18.0
select getdate();
2021-03-09 13:03:26.0
NOK - 现在将创建测试程序,捕获开始和结束时间戳(以及大 FOR 循环以暂停),并调用程序超过 1 次,我看到在第 2 次、第 3 次执行等时返回相同的开始/结束值。
create or replace procedure tests.test_getdate_cache()
as $$
declare
ts timestamp;
f float;
begin
-- execute 'SET enable_result_cache_for_session TO OFF';
ts:= getdate();
raise info 'START - getdate()=[%]', ts;
FOR i IN 1..10000000 LOOP
-- ts:= getdate();
-- raise info '**loop[%] getdate()=[%]', i, ts;
f:= i * 1234.4234;
END LOOP;
ts:= getdate();
raise info 'END - getdate()=[%]', ts;
-- execute 'SET enable_result_cache_for_session TO ON';
end;
$$ LANGUAGE plpgsql;
/
call tests.test_getdate_cache();
START - getdate()=[2021-03-09 13:15:47]
END - getdate()=[2021-03-09 13:16:00
START - getdate()=[2021-03-09 13:15:47] <---- DUPLICATED VALUE
END - getdate()=[2021-03-09 13:16:00] <---- DUPLICATED VALUE
--cache results off
START - getdate()=[2021-03-09 13:23:22]
END - getdate()=[2021-03-09 13:23:34]
START - getdate()=[2021-03-09 13:23:22] <---- DUPLICATED VALUE
END - getdate()=[2021-03-09 13:23:34] <---- DUPLICATED VALUE
SELECT * FROM svl_stored_proc_messages WHERE 1=1 ORDER BY recordtime desc limit 4
userid | session_userid | pid | xid | query | recordtime | loglevel | loglevel_text | message | linenum | querytxt | label | aborted
-------+----------------+-------+---------+-------+---------------------+----------+---------------+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+---------+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+--------
101 | 101 | 31870 | 1540358 | 4332 | 2021-03-09 13:16:32 | 30 | INFO | END - getdate()=[2021-03-09 13:16:00] | 16 | call tests.test_getdate_cache() | default | 0
101 | 101 | 31870 | 1540358 | 4332 | 2021-03-09 13:16:19 | 30 | INFO | START - getdate()=[2021-03-09 13:15:47] | 7 | call tests.test_getdate_cache() | default | 0
101 | 101 | 31870 | 1540334 | 4325 | 2021-03-09 13:16:00 | 30 | INFO | END - getdate()=[2021-03-09 13:16:00] | 16 | call tests.test_getdate_cache() | default | 0
101 | 101 | 31870 | 1540334 | 4325 | 2021-03-09 13:15:47 | 30 | INFO | START - getdate()=[2021-03-09 13:15:47] | 7 | call tests.test_getdate_cache() | default | 0
\
我什至尝试关闭结果缓存,尽管这可能仅适用于 SELECTs 而 getdate() 是函数,但是,无论如何尝试了一下,但结果相同,时间戳保持不变。只需取消注释上述行 - 执行 'SET enable_result_cache_for_session TO OFF'; -- 执行 'SET enable_result_cache_for_session TO ON';
知道如何在程序早期以及何时退出时获得新的时间戳吗?
谢谢。
解决方案
Getdate() 返回当前语句时间,由于存储过程调用是单个语句,它将在整个过程中返回相同的时间。请参阅:https ://docs.aws.amazon.com/redshift/latest/dg/Date_functions_header.html
我认为您尝试做的事情(可靠地)行不通。请记住,Redshift 是一个联网计算机集群,虽然它们的时钟是同步的,但这并不完美。每个节点的时钟都会略有不同,并且相互交谈的网络时间也会影响比较。您的程序不是在一个地方运行,而是在多个地方运行。您可能可以通过使用 python UDF 获得每个节点的实时信息,但随后您必须从不同的结果中找出您所看到的内容。这对于对 UDF 的单次调用可能是可行的,但是当您将该过程应用于存储在许多节点上的真实数据时,您可能会看到许多相互冲突的答案。