amazon-web-services - 使用 spark 作业将数据从 aws redis 移动到 s3 存储桶

Question

我使用 AWS 弹性缓存服务器，它每分钟将大量数据存储到 redis 缓存系统中。下面是存储数据到redis的代码：

$redisCon = new \Redis();
$redisCon->connect( 'xxxxx.xxxxx.xxxx.xxxx.cache.amazonaws.com', 6379 );
foreach ($data as $key => $value) {
$redisCon->set("app:unique_key", "data");
}
$redisCon->close();

我计划使用 spark 作业将 redis 数据移动到 S3 存储桶。我尝试使用 spark 作业搜索将 redis 数据移动到 S3 存储桶的过程，但我无法找到确切的解决方案。请建议如何实现将 redis 数据移动到 S3 存储桶的过程。如果使用火花作业的这个过程有任何缺点，请告诉我。如果是这样，您能否建议我另一种或适当的方法。

标签： amazon-web-servicesapache-sparkamazon-s3redis