时间戳

首页 > 解决方案 > U-SQL：如何处理架构更改？

sql - U-SQL：如何处理架构更改？

问题描述

我的原始脚本是这样的：

@input = EXTRACT A string, B string, C string, 
         year string, month string, day string, filename string
    FROM @folder + "/{year}/{month}/{day}/{filename}.csv"
    USING Extractors.Csv(skipFirstNRows : 1);

@input = SELECT A, B, C FROM @input;

OUTPUT @input
    TO @parent + "/testtest.csv"
    USING Outputters.Csv(outputHeader : true);

这工作正常，但有时源文件的架构（列）可能会改变。列可能变为 A、B、C、D 或 A、B、E。

我知道 Visual Studio 可以生成 EXTRACT 脚本。有没有办法让 U-SQL（或 Visual Studio）处理这个问题并动态自动生成提取脚本？

标签： sqlvisual-studioazureazure-data-factoryu-sql

解决方案

CSV 提取器不允许架构更改。如果您更改架构，您将需要更改您的 u-sql 代码！

解决方案是创建一个自定义提取器来完成您的工作，或者您可以检查允许灵活列模式的灵活提取器。

https://blogs.msdn.microsoft.com/mrys/2016/08/15/how-to-deal-with-files- contains-rows-with-different-column-counts-in-u-sql-introducing-一个灵活的模式提取器/

推荐阅读