python - 谷歌 BigQuery API Python
问题描述
我正在尝试在 python 中生成查询并使用它们进行查询。我正在使用 pandas_gbq。我的代码如下所示:
def generate_query(
filter=['CENTRAL BANK','DRAGHI','FRANKFURT'],
date ='20171214',
datetimeformat='%Y%m%d',
weekly_data=True
):
filter = str(filter).replace('[','').replace(']','')
if weekly_data == False:
query = '''SELECT * FROM `gdelt-bq.gdeltv2.events` WHERE SQLDATE = {date}'''.format(date = date)
else:
date = datetime.datetime.strptime(date, datetimeformat)
week = generate_week(date)
query = '''SELECT * FROM `gdelt-bq.gdeltv2.events` WHERE SQLDATE IN ({week})'''.format(
week = week).replace('[','').replace(']','')
return query, date
不知道如何缩进stackoverflow上的代码。尝试查询多个日期时会出现问题:
'SELECT * FROM `gdelt-bq.gdeltv2.events` WHERE SQLDATE IN (\\'20171211\\', \\'20171212\\', \\'20171213\\', \\'20171214\\', \\'20171215\\')'
我不知道反斜杠是从哪里来的。知道为什么会这样吗?
函数 generate_week:
def generate_week(date):
week = []
referenceday = date - datetime.timedelta(days = date.weekday())
for i in range(0,5):
day = referenceday + datetime.timedelta(days = i)
week.append(day.strftime('%Y%m%d'))
return week
返回的错误如下:
pandas_gbq.gbq.GenericGBQException: Reason: 400 No matching signature for operator IN for argument types INT64 and {STRING} at [1:55]
我会非常感谢这里的一些帮助!:)
解决方案
我相信你的问题是日期格式。除非您另有说明,否则标准 BQ 需要 yyyy-mm-dd 格式。在这里阅读更多。如果你使用strftime("%Y-%m-%d")
它应该足够了。
还值得指出的是:
- 如果您使用元组而不是列表,SQL 将共享与 Python 相同的语法,因此您可以避免替换方括号(让生活更轻松)。
- 您可以将 SQL 的 BETWEEN 与开始日期和结束日期(包括)一起使用,而不是列出每个日期(如果它是连续的、连续的时间段)。
如果您使用的是 Python 3.6+,在这种情况下,f-strings 比 .format 好一点。包括项目符号 1(但不是项目符号 2)中的更改,您可以改为:
f'''SELECT * FROM `gdelt-bq.gdeltv2.events` WHERE SQLDATE IN {week}'''