apache-spark - 如何掌握 Spark sql

Question

我是激发 sql 的新手。我发现编写逻辑复杂的 Spark 查询程序可能非常棘手。比如我知道spark sql库中的算子比较有限，所以有时候我们需要实现UDF。但是您怎么知道图书馆运营商是否可以执行某些操作？我如何知道是否有必要实施 UDF？我发现许多开发人员都能够想出优雅的 Spark 程序。你是如何掌握 Spark 的？如何使用 Spark SQL 提高我的编程能力。我应该先掌握MYSQL吗？我是一名具有软件开发背景的学生。我错过了什么？

标签： apache-sparkapache-spark-sql

Answer 1

@年轻的 。如果您要求特定于 spark sql，那么我建议您改进 sql。尝试复杂的 sql，主题包括：GROUP BY、ALL JOINS、WINDOWING 函数等。本教程很短

https://www.techonthenet.com/sql/index.php

并介绍了 SQL。我不认为 MySql 会很重要，因为它会很庞大并且它有自己的实现和不同的逻辑。对您来说重要的是学习 ANSI SQL。您可以在称为小提琴的虚拟环境中在线练习。继承人之一：

https://www.db-fiddle.com/

然后你需要练习不同的 sql 问题，Hackerrank 的 SQL 练习就足够了。

之后，您应该转向 Spark SQL 并探索所有可用的功能。

https://spark.apache.org/docs/2.4.1/api/sql/