scala - Spark中的Kryo vs Encoder vs Java序列化？

Question

哪种序列化用于哪种情况，
从 spark 文档中它说：
它提供了两个序列化库：
1. Java（默认）和
2. Kryo
现在编码器从哪里来，为什么文档中没有给出。
并且从 databricks 中它说编码器对数据集的执行速度更快，RDD 怎么样，以及所有这些映射如何结合在一起。在哪种情况下我们应该使用哪个序列化程序？

标签： scalaapache-sparkserializationencoderkryo

Answer 1

• Encoders仅用于Dataset。
• Kryo在 spark 内部使用。
• Kryo并且Java序列化可供您用于数据混洗。

至于你应该使用哪个 -Kryo如果你不使用Dataset. 否则，实际上你没有任何选择。