时间戳

首页 > 解决方案 > 使用 Python 将 Twitter 数据直接发送到 Google Cloud 数据存储

python - 使用 Python 将 Twitter 数据直接发送到 Google Cloud 数据存储

问题描述

如何将数据从 Twitter 直接发送到 Google Cloud 数据存储。想跳过首先将其下载到我的本地计算机然后将其上传到云端的步骤。它会运行一次。不是在寻找完整的代码，而是寻找某人可能从中学到的任何指针或教程。使用 python 与 google-cloud 和 storage 进行交互。

任何帮助，将不胜感激。

标签： pythongoogle-cloud-platformgoogle-cloud-datastoredata-storage

解决方案

这是一篇描述以下架构的博客文章：

  • 在 Compute Engine 上运行 Python 脚本
  • 将数据移至 BigQuery 进行存储

这是另一个描述更复杂架构的架构，包括分析推文的能力：

  • 使用 Google Cloud Dataflow 模板
  • 从 Google App Engine (GAE) 应用启动 Dataflow 管道
  • 为了支持 MapReduce 作业

推荐阅读