时间戳

首页 > 解决方案 > 如何使用 Python 从 AWS Lambda 检索格式正确的 JSON

python - 如何使用 Python 从 AWS Lambda 检索格式正确的 JSON

问题描述

我在 AWS Lambda 中有一个函数，它连接到 Twitter API 并返回与我通过事件提供的特定搜索查询匹配的推文。该函数的简化版本如下。我使用了一些帮助函数get_secret来管理 API 密钥，process_tweet它们限制了发送回的数据以及将创建的日期转换为字符串等操作。最终结果是我应该得到一个字典列表。

def lambda_handler(event, context):
    twitter_secret = get_secret("twitter")

    auth = tweepy.OAuthHandler(twitter_secret['api-key'],
                               twitter_secret['api-secret'])
    auth.set_access_token(twitter_secret['access-key'],
                          twitter_secret['access-secret'])
    api = tweepy.API(auth)

    cursor = tweepy.Cursor(api.search,
                           q=event['search'],
                           include_entities=True,
                           tweet_mode='extended',
                           lang='en')

    tweets = list(cursor.items())
    tweets = [process_tweet(t) for t in tweets if not t.retweeted]

    return json.dumps({"tweets": tweets})

然后，在我的桌面上，我有调用 lambda 函数的代码。

aws_lambda = boto3.client('lambda', region_name="us-east-1")
payload = {"search": "paint%20protection%20film filter:safe"}
lambda_response = aws_lambda.invoke(FunctionName="twitter-searcher",
                                    InvocationType="RequestResponse",
                                    Payload=json.dumps(payload))
results = lambda_response['Payload'].read()
tweets = results.decode('utf-8')

问题是，在 lambda 中的输出和 Python 中读取有效负载之间的某个地方json.dumps，数据变得混乱了。\n例如，一个应该变成的换行符\\\\n，所有的双引号都存储为\\"，Unicode字符都以.为前缀\\。所以，所有被转义的东西，当我的桌面上的 Python 接收到它时，转义字符被转义了。考虑返回的列表中的这个元素（使用手动格式化）。

'{\\"userid\\": 190764134,
  \\"username\\": \\"CapitalGMC\\",
  \\"created\\": \\"2018-09-02 15:00:00\\",
  \\"tweetid\\": 1036267504673337344,
  \\"text\\": \\"Protect your vehicle\'s paint! Find out how on this week\'s blog.
              \\\\ud83d\\\\udc47\\\\n\\\\nhttps://url/XYMxPhVhdH https://url/mFL2Zv8nWW\\"}'

我可以使用正则表达式来解决一些问题（\\"和\\\\n），但 Unicode 很棘手，因为即使我匹配它，如何用正确转义的字符替换它？当我在 R 中使用aws.lambda包执行此操作时，一切都很好，没有奇怪的逃脱。

AWS Lambda 的响应混淆了数据，我在桌面上做错了什么？

更新

流程推文功能如下。它实际上只是提取了我想要保留的位，将 datetime 对象格式化为字符串并返回一个字典。

def process_tweet(tweet):
    bundle = {
        "userid": tweet.user.id,
        "username": tweet.user.screen_name,
        "created": str(tweet.created_at),
        "tweetid": tweet.id,
        "text": tweet.full_text
    }
    return bundle

仅供参考，在 R 中，代码如下所示。

payload = list(search="paint%20protection%20film filter:safe")
results = aws.lambda::invoke_function("twitter-searcher"
                                      ,payload = jsonlite::toJSON(payload
                                                              ,auto_unbox=TRUE)
                                      ,type = "RequestResponse"
                                      ,key = creds$key
                                      ,secret = creds$secret
                                      ,session_token = creds$session_token
                                      ,region = creds$region)
tweets = jsonlite::fromJSON(results)
str(tweets)

#> 'data.frame':    133 obs. of  5 variables:
#>  $ userid  : num  2231994854 407106716 33553091 7778772 782310 ...
#>  $ username: chr  "adaniel_080213" "Prestige_AdamL" "exclusivedetail" "tedhu" ...
#>  $ created : chr  "2018-09-12 14:07:09" "2018-09-12 11:31:56" "2018-09-12 10:46:55" "2018-09-12 07:27:49" ...
#>  $ tweetid : num  1039878080968323072 1039839019989983232 1039827690151444480 1039777586975526912 1039699310382931968 ...
#>  $ text    : chr  "I liked a @YouTube video https://url/97sRShN4pM Tesla Model 3 - Front End Package - Suntek Ultra Paint Protection Film" "Another #Corvette #ZO6 full body clearbra wrap completed using @xpeltech ultimate plus PPF ... Paint protection"| __truncated__ "We recently protected this Tesla Model 3 with Paint Protection Film and Ceramic Coating.#teslamodel3 #charlotte"| __truncated__ "Tesla Model 3 - Front End Package - Suntek Ultra Paint Protection Film https://url/AD1cl5dNX3" ...

tweets[131,]
#>        userid   username             created             tweetid
#> 131 190764134 CapitalGMC 2018-09-02 15:00:00 1036267504673337344
#>          text
#> 131 Protect your vehicle's paint! Find out how on this week's blog.\n\nhttps://url/XYMxPhVhdH https://url/mFL2Zv8nWW

标签： pythonjsonaws-lambda

解决方案

在您的 lambda 函数中，您应该在响应正文中返回一个带有 JSON 对象的响应对象。

# Lambda Function
def get_json(event, context):
    """Retrieve JSON from server."""
    # Business Logic Goes Here.
    response = {
        "statusCode": 200,
        "headers": {},
        "body": json.dumps({
            "message": "This is the message in a JSON object."
        })
    }
    return response

推荐阅读