首页 > 解决方案 > 如何从站点下载文件,对其进行处理,然后将其插入 Azure SQL 数据库表?

问题描述

我需要从以下位置下载名为“StatesCONUS.Heating.txt”的文件:

ftp://ftp.cpc.ncep.noaa.gov/htdocs/degree_days/weighted/daily_data/2020/

然后,我需要解析数据并将其插入到 Azure SQL 数据库中的表中。

这必须每天进行一次。

我是天蓝色的菜鸟,那么最好的方法是什么?

标签: azureazure-sql-database

解决方案


有多种方法。

1-编写一个带有时间触发器的 Azure 函数,将文件下载到内存中(假设它不是那么大)并将行插入到 sql 数据库中

2-使用带有时间触发器的 Azure Logic Apps,使用 ftp 连接器下载文件,然后使用 sql 数据库连接器将行插入到 sql 数据库中

3-使用 Azure Functions / Logic App,将文件保存到存储帐户中。触发另一个处理它的函数或使用 Azure 数据工厂处理并插入 Sql 数据库。

有用的资源:

https://docs.microsoft.com/en-us/azure/azure-functions/functions-bindings-timer?tabs=csharp

https://docs.microsoft.com/en-us/azure/connectors/connectors-native-recurrence

https://docs.microsoft.com/en-us/azure/connectors/connectors-create-api-sftp

https://docs.microsoft.com/en-us/connectors/sql/


推荐阅读