时间戳

首页 > 解决方案 > 如何使用python将json文件转换为redshift中的表结构

json - 如何使用python将json文件转换为redshift中的表结构

问题描述

如何将 JSON 文件转换为 Redshift 中的表结构？我尝试了下面的python代码。

import boto3
import json
import os
import sys
import psycopg2
import csv
from collections import defaultdict

def jsonfile(path):
    session = boto3.Session(
        aws_access_key_id='dfjfkgj',
        aws_secret_access_key='sdfg',
        region_name='us-west-2')
    s3 = session.resource('s3')
    bucket= s3.Bucket('ag-redshift-poc')
    with open(path, 'rb') as data:
        res=json.load(data)
        f = open('data.csv','wb')
        output = csv.writer(f) 
        output.writerow(res[0].keys())
        for row in res:
           output.writerow(row.values()) 


    bucket.put_object(Key=('C:\Python27\data.csv'),Body=res)
    print 'success'

def redshift():
    co=psycopg2.connect(dbname= 'redshiftpoc', host='shdjf', 
    port= '5439', user= 'admin', password= 'snd')
    curr = co.cursor()
    curr.execute("""copy sample from 's3://ag-redshift-poc/testfile/json.txt'
                CREDENTIALS 'aws_access_key_id=fdfd;aws_secret_access_key=sxhd'
                """)
    co.commit()
    print 'success'
    curr.close()
    co.close()

jsonfile('C:\Python27\json.txt')
redshift()

标签： jsonpython-2.7amazon-redshift

解决方案

Redshift 可以直接将 JSON 吸收到 COPY 到你的表中。（虽然效率不高）。

在您的情况下，将 COPY 查询修改为，

COPY sample FROM 's3://<bucket_name>/<path_to_json>'
CREDENTIALS 'aws_access_key_id=xxxx;aws_secret_access_key=xxxx'
JSON 'auto' ACCEPTINVCHARS;

请JSON 'auto'在查询中注明。这会将表中的每一列映射到 JSON 文件中的键。

复制示例中的更多详细信息

推荐阅读