sql - SQL中的大数据可以使用什么格式？

Question

这只是标题中的简单问题。我的数据行是 1,650,461，但 excel 或 CVS 只能导出到 1,048,576。有更好的格式吗？提前致谢。

标签： sqlbigdata

Answer 1

您可以使用 CSV 格式，它没有像 EXCEL 那样的任何行限制。您也可以选择 TSV 格式。

例如，在我们的 Azure 数据湖分析中，我们曾经读取如下数据。参考 USQL

 @Trips =
      EXTRACT date    DateTime,
          driver_id   int,
          vehicle_id  int,
          trips       string // Array
       FROM "/Samples/Data/AmbulanceData/DriverShiftTrips.csv"
       USING Extractors.Csv(encoding: Encoding.[ASCII]);

  OUTPUT @Trips 
  TO "/Output/ReferenceGuide/BuiltIn/UDOs/extractorCsv_DriverShiftTrips.csv" 
  USING Outputters.Csv();