mysql - 可以触发访问远程 mysql 数据库。假设远程服务器没有火花并且可以触发访问数据库视图

Question

我需要使用 mysql 数据通过 spark 进行处理。可以火花能够处理远程mysql数据。像这样想我在服务器A上安装了spark，mysql在服务器B上。服务器B没有spark，mysql安装在上面。那么是否可以使用服务器 A 的火花，我们在服务器 B 上处理 mysql 数据。

还有第二个查询，比如说，我在数据库中有复杂的查询，所以我在上面创建了视图，spark 可以根据该视图获取数据吗？

在此先感谢 Debashis Mallick

标签： mysqlapache-spark

Answer 1

您无需将 spark 安装在与 MySQL 相同的服务器上。您可以使用 sqoop（jdbc 驱动程序）从服务器 A 中的 MySQL 读取数据到服务器 B 中的 Spark，并在服务器 B（Spark Cluster）中处理数据。

Regd 第二次查询，答案是肯定的。同样，您可以使用 sqoop 从 mySQL 数据视图中读取数据。注意：Sqoop 目前不支持直接模式下的视图导入。如果需要导入视图，请使用基于 JDBC（非直接）的模式（只需省略 --direct 参数）。参考： https ://sqoop.apache.org/docs/1.4.2/SqoopUserGuide.html