c# - 使用 Azure 数据工厂 Web 活动发布表单数据会向 C# 脚本返回不同的结果

问题描述

我已经到了用这个拉头发的阶段，我希望有人能看看我是否做错了什么。

我正在尝试使用 Azure 数据工厂 Web 活动将一些表单数据发布到网站，但是当我得到响应（我得到页面和一些标题）时，如果我使用 C# 和发出完全相同的请求，我得到的响应是不同的HttpClient 代码。我已经使用提琴手来查看使用我的 C# 脚本发布的请求，并且根据数据工厂中给出的请求信息，它们完全相同 - 所以相同的标题，相同的内容格式等......

此 POST 请求是登录到具有自定义登录机制的网站，因此遗憾的是没有 OAuth 或类似的东西。它应该返回一个 cookie，如果我使用我的 C# 脚本，它会返回一个 cookie，但是如果我使用数据工厂 Web 活动发出相同的 POST 请求，那么我会收到不同的 html 发送回（它只是返回相同的登录屏幕）并且也不同活动输出的“ADFWebActivityResponseHeaders”部分中的一组响应标头！？！有关 Web 活动输出响应标头中返回的内容，请参见下文：-

"ADFWebActivityResponseHeaders": {
    "Pragma": "no-cache",
    "Vary": "Accept-Encoding",
    "X-Frame-Options": "DENY",
    "Cache-Control": "no-store, must-revalidate, no-cache, post-check=0, pre-check=0",
    "Date": "Wed, 09 Sep 2020 08:09:30 GMT",
    "Server": "Microsoft-IIS/8.5"
}

如果我通过 C# 执行此操作，我也会得到一个“Set-Cookie”（奇怪的是，如果我对该网站的主页发出“GET”请求，我会在响应中得到一个“Set-Cookie”！！！），但绝不会通过数据工厂执行此操作。除非数据工厂以某种方式修改我的请求，否则我很难看到这怎么可能？下面是我的 C# 代码，非常简单/标准：-

var handler = new HttpClientHandler();
handler.CookieContainer = new CookieContainer();
handler.UseCookies = true;
handler.UseDefaultCredentials = false;

// Create our http client which will perform our web requests
var HttpClient = new HttpClient(handler);
HttpClient.BaseAddress = new Uri("**REMOVED**");

// Some of the extracts take a LONG time, so set the timeout for default of 30mins
HttpClient.Timeout = TimeSpan.FromMinutes(30);

// Set the 'form' parameters we're going to POST to the server in the request
var parameters = new Dictionary<string, string>
{                
    { "username", "**REMOVED**" },
    { "password", "**REMOVED**" }
};

// URL encode the parameters
var content = new FormUrlEncodedContent(parameters);

// Submit our POST with the parameters
var response = await HttpClient.PostAsync("**REMOVED**", content);

运行此代码并使用 fiddler 我看到以下带有标头的请求，这些是唯一的标头：-

Content-Length: 80 
Content-Type: application/x-www-form-urlencoded

username=REMOVED&password=REMOVED

在网络活动的“输入”端是请求的详细信息，我在网络活动中添加了标头，这些是正确的：-

"method": "POST",
"headers": {
    "Content-Type": "application/x-www-form-urlencoded",
    "Content-Length": 80
},
"body": "username=REMOVED&password=REMOVED"

请注意，在数据工厂中，我使用的是自托管集成运行时，因为该网站会阻止不是来自我们的本地网络/防火墙外部使用的特定 IP 地址的地址。我知道这不是问题，因为我从站点获得了正常登录页面的响应（如果我使用 Azure 集成运行时，我会收到拒绝响应）。

这是数据工厂中 Web 活动的屏幕截图：-

真的希望有人能看到我错过了什么或其他什么......

标签： c#azurewebcookiesazure-data-factory-2

事实证明这确实有效，并将在活动的 JSON 输出中列出 cookie，如下所示（请注意，这可以在 ADF 活动的输出中找到，因此您可以从输出中获取 cookie，有点像.. . @activity('登录并获取cookie').output.ADFWebActivityResponseHeaders["Set-Cookie"] )

但是，在我的情况下，我发布到的 url 响应为 302（暂时移动），但 ADFWebActivityResponseHeaders 中没有应该存在的“Location”标头 - 这就是我错过它的原因。我尝试将 Chrome 与开发人员工具一起使用，并直接查看响应，这是我找到 302 响应代码的地方。之后，我只使用了在使用浏览器开发工具时找到的响应标头中给出的新 URL（即“位置”中的 url）。

不幸的是，在撰写本文时，Azure 数据工厂 HTTP 活动不遵循重定向（也没有列出所有响应标头！）因此，如果有人遇到同样的问题，他们将需要手动查找并获取任何重定向。换句话说，尝试使用浏览器/邮递员之类的工具，如果它在 ADF 中不起作用，请查看响应...您可能会发现正在进行重定向:-)

这里记录了一个功能请求，请务必添加您的投票:)

c# - 使用 Azure 数据工厂 Web 活动发布表单数据会向 C# 脚本返回不同的结果

问题描述

解决方案

推荐阅读