azure - 如何从站点下载文件,对其进行处理,然后将其插入 Azure SQL 数据库表?
问题描述
我需要从以下位置下载名为“StatesCONUS.Heating.txt”的文件:
ftp://ftp.cpc.ncep.noaa.gov/htdocs/degree_days/weighted/daily_data/2020/
然后,我需要解析数据并将其插入到 Azure SQL 数据库中的表中。
这必须每天进行一次。
我是天蓝色的菜鸟,那么最好的方法是什么?
解决方案
有多种方法。
1-编写一个带有时间触发器的 Azure 函数,将文件下载到内存中(假设它不是那么大)并将行插入到 sql 数据库中
2-使用带有时间触发器的 Azure Logic Apps,使用 ftp 连接器下载文件,然后使用 sql 数据库连接器将行插入到 sql 数据库中
3-使用 Azure Functions / Logic App,将文件保存到存储帐户中。触发另一个处理它的函数或使用 Azure 数据工厂处理并插入 Sql 数据库。
有用的资源:
https://docs.microsoft.com/en-us/azure/azure-functions/functions-bindings-timer?tabs=csharp
https://docs.microsoft.com/en-us/azure/connectors/connectors-native-recurrence
https://docs.microsoft.com/en-us/azure/connectors/connectors-create-api-sftp