scala - 如何使用 SCALA 读取 .DAT 文件

Question

我正在尝试使用以下语法读取 DAT 文件，但出现以下错误：

spark.read.format("dat").option("header", "true").option("delimiter","!^")

线程“主”java.lang.ClassNotFoundException 中的异常：无法找到数据源：dat。请在http://spark.apache.org/third-party-projects.html找到包

标签： scalaapache-spark

Answer 1

你可以试试这个：

spark.read
  .option("header", "true")
  .option("inferSchema", "true")
  .option("delimiter", "\t")
  .csv(spark.read.textFile("filename")
  .map(line => line.split("YOUR DOUBLE DELIMITER").mkString("\t")))

答案来自这里： How to use double pipe as delimiter in CSV?