sql - 当我从 python 获取数据时需要向雪花查询添加查询标签(使用线程池,提供了代码)
问题描述
我通过创建引擎使用 SQLAlchemy 将 python 连接到雪花以获取数据。添加一段关于我如何做的代码。在您建议使用 connector.snowflake 之前,我已经尝试过,它有查询标签,但我需要通过线程池方法提取查询,但找不到添加查询标签的方法。
也尝试过 ALTER SESSION SET QUERY_TAG 但由于查询并行运行,它没有给出查询标签。
代码:
vendor_class_query ='select * from table'
query_list1 = [vendor_class_query]
pool = ThreadPool(8)
def query(x):
engine = create_engine(
'snowflake://{user}:{password}@{account}/{database_name}/{schema_name}?\
warehouse={warehouse}&role={role}¶mstyle={paramstyle}'.format(
user=---------,
password=----------,
account=----------,
database_name=----------,
schema_name=----------,
warehouse=----------,
role=----------,
paramstyle='pyformat'
),
poolclass=NullPool
)
try:
connection = engine.connect()
for df in pd.read_sql_query(x, engine, chunksize=1000000000):
df.columns = map(str.upper, df.columns)
return df
finally:
connection.close()
engine.dispose()
return df
results1 = pool.map(query, query_list1)
vendor_class = results1[0]'''
解决方案
推荐阅读
- spring-mvc - 无法提取响应:没有找到适合响应类型 [boolean] 和内容类型 [text/html;charset=iso-8859-1] 的 HttpMessageConverter
- javascript - 如何在没有 JavaScript 的情况下获取浏览器时区
- php - I want to make my long reference link dynamic with htaccess
- html - CSS如何对齐不同卡片表上的内容,例如
- javascript - vue中的简单验证
- javascript - JS递归代码抛出最大调用堆栈大小错误
- css - 让 SVG 加号出现在选项卡的右侧,而不是包含 div 的右侧
- java - Jackson 泛型类型的反序列化 - 尝试解析的子类型时缺少类型
- android - 应用程序手动关闭时未触发 AlarmManager
- javascript - '{ identifier: string; 类型的参数 }' 不可分配给“ConcatArray”类型的参数
'