apache-spark - Spark 2.4.3 - 当数据库表模式有数字类型时怎么办？

Question

我需要使用 spark 从数据库表 (Teradata) 加载数据，但表的模式的类型为 NUMBER，没有精度和比例。正如我们在这里看到的那样https://github.com/apache/spark/pull/8780。

因此，当我加载包含“NUMBER”列且这些列中具有浮点值的表时，在 spark 数据框中，这些值的精度显示为 NUMBER(38,0)，并且这些值的精度会丢失。

例子：

兆数据：

values
50.00
94.30
23.30
20.01

数据框火花：

values
50
94
23
20

有人可以帮我吗？

标签： apache-sparkpysparkpyspark-dataframes