json - 通过 WebRequest 下载带有 JSON 响应的文件作为重定向
问题描述
我正在努力寻找一种通过 WebRequest 下载文件的方法。
API 非常简单。所以我有例如以下地址:
https
://eprel.ec.europa.eu/api/products/tyres/381324/labels?format=PDF
在这种情况下,浏览器中会显示一个标签。
我/labels
可以下载一个 zip 包。响应将是
包含资源 URL ( ) 的内容。/labels?noDirect=true&format=PDF
200 OK
\{address:label or fiche URL}
使用代码:
Dim request As WebRequest = WebRequest.Create("https://eprel.ec.europa.eu/api/products/tyres/381324/labels?noRedirect=true&format=PDF")
request.Credentials = CredentialCache.DefaultCredentials
Dim response As WebResponse = request.GetResponse()
Console.WriteLine(CType(response, HttpWebResponse).StatusDescription)
Console.WriteLine(response)
Using dataStream As Stream = response.GetResponseStream()
Dim reader As New StreamReader(dataStream)
Dim responsefromServer As String = reader.ReadToEnd()
Console.WriteLine(responsefromServer)
End Using
我得到了 OK 响应,但没有下载标签的 URL。
此外,如果我只使用/labels?format=PDF
我无法保护显示的 PDF。
我也尝试过 Selenium,但这个解决方案速度很慢。所以我宁愿坚持使用 WebRequest。
也许有人可以帮忙。
解决方案
API 有一个 2-way 响应,基于请求的 URI:
- 如果您的 URI 是一个查询,如
https://eprel.ec.europa.eu/api/products/tyres/381324/labels?format=PDF
响应是一个 JSON,它指定一个替换查询的 URL 片段,以构建直接资源的新 URI。但它也会将WebResponse.ResourceUri
地址更改为这个确切的位置。不要使用该?noDirect=true
选项。 - 如果您指定直接地址,例如https://eprel.ec.europa.eu/label/Label_381324.pdf
,则 ResponseStream 将包含要下载的数据。
注意:这是一个二进制文件,您不能使用 aStreamReader
来读取二进制数据。
这里有两种方法可以将您的 PDF 文件下载为字节数组。
GetPDFResourceAsync()
以查询的形式获取一个 Uri,获取响应,然后调用第二个方法GetPDFResourceDirectAsync()
,传递WebResponse.ResourceUri
它从服务器接收到的。
如果你想使用查询URI,调用GetPDFResourceAsync()
,如果你想使用直接资源Uri,调用GetPDFResourceDirectAsync()
。
该InitializeWebRequest()
方法是初始化 HttpWebRequest 的实用方法。没有它,GetPDFResourceAsync()
将无法工作,因为服务器需要一个User-Agent
标头集和一个压缩方法(否则你会得到垃圾)。
现在,这些方法返回一个字节数组(PDF 文件数据)。您可以使用File.WriteAllBytes()
方法
将其存储到光盘。例如:
' Indirect method, using a URI query
Dim pdfBytes = Await GetPDFResourceAsync(New Uri("https://eprel.ec.europa.eu/api/products/tyres/381324/labels?format=PDF"))
' Direct method, using a resource URI
Dim pdfBytes = Await GetPDFResourceDirectAsync(New Uri("https://eprel.ec.europa.eu/label/Label_381324.pdf"))
Dim pdfFilePath = Path.Combine("[Some Directory]", "Label381324.pdf")
File.WriteAllBytes(pdfFilePath, pdfBytes)
工作方法:
如果您不想/不能使用async
方法,只需从任何地方删除async
和await
(包括方法名称),您将拥有同步代码。
Public Async Function GetPDFResourceAsync(resourceUri As Uri) As Task(Of Byte())
Dim request = WebRequest.CreateHttp(resourceUri)
InitializeWebRequest(request)
Using locResponse As HttpWebResponse = DirectCast(Await request.GetResponseAsync(), HttpWebResponse)
If locResponse.StatusCode = HttpStatusCode.OK Then
Return Await GetPDFResourceDirect(locResponse.ResponseUri)
Else
Return Nothing
End If
End Using
End Function
Public Async Function GetPDFResourceDirectAsync(resourceUri As Uri) As Task(Of Byte())
Dim request = WebRequest.CreateHttp(resourceUri)
InitializeWebRequest(request)
Dim buffersize As Integer = 132072
Dim buffer As Byte() = New Byte(buffersize - 1) {}
Dim dataResponse = DirectCast(Await request.GetResponseAsync(), HttpWebResponse)
If dataResponse.StatusCode = HttpStatusCode.OK Then
Using responseStream As Stream = dataResponse.GetResponseStream(),
mStream As MemoryStream = New MemoryStream()
Dim read As Integer = 0
Do
read = Await responseStream.ReadAsync(buffer, 0, buffer.Length)
Await mStream.WriteAsync(buffer, 0, read)
Loop While read > 0
Return mStream.ToArray()
End Using
End If
Return Nothing
End Function
Private Sub InitializeWebRequest(request As HttpWebRequest)
request.UserAgent = "Mozilla/5.0 (Windows NT 10; WOW64; Trident/7.0; rv:11.0) like Gecko"
request.AutomaticDecompression = DecompressionMethods.GZip Or DecompressionMethods.Deflate
request.Headers.Add(HttpRequestHeader.AcceptEncoding, "gzip, deflate;q=0.8")
request.Headers.Add(HttpRequestHeader.CacheControl, "no-cache")
End Sub
推荐阅读
- java - Cucumber DataTable .raw() 不再有效(io.cucumber:4.7.2)?
- forms - CakePHP 表单提交疑难解答
- apache-spark - 为什么 `spark.range(100).orderBy('id', ascending=False).rdd` 不懒惰并触发动作?
- html - Chrome 自动填充上的预填充值在选择前大小不同
- mysql - 如何在MYSQL表中提取JSON格式的值
- kubernetes - 如何使用 Amazon EKS 上的 kubernetes 入口控制器将 http 重定向到 https
- sql - 加快 SQL Server 中的累积和计算
- amazon-web-services - 如何找出因 403 失败的请求需要哪些 IAM 权限
- python - 当“id”绑定点在 cosmosDB 集合中没有对应项时,用 python 编写的 Azure 函数有 500 个
- translation - 如何合并 POT 和 PO 文件,以便排除不在 POT 文件中的条目?