首页 > 解决方案 > 如何在不知道其架构的情况下仅在 scala 中读取 CSV 文件来设置/分配数据类型

问题描述

我有 CSV 文件,但我必须在不知道其数据类型和架构的情况下分配数据类型,我的意思是一切都是通过 scala 编程完成的,有可能吗? 我不知道如何在 scala 中编写代码,有人知道吗?

我是 scala 的新手,我只是对 scala 有基本的了解,我知道如何读取 csv 文件,但我没有它的架构和数据类型,这可能吗?你能给我这样的答案吗 1)加载 csv 文件。2)如何使用sparkSQL进行分析。3)如何在scala中自动设置数据类型。

标签: scalaapache-sparkbigdata

解决方案


有推断模式,您可以将其添加到代码中作为选项。您需要代码示例吗?我可以提供scala代码。


推荐阅读