时间戳

首页 > 解决方案 > 为什么这个简单的网络爬虫会失败？

c# - 为什么这个简单的网络爬虫会失败？

问题描述

我正在用一个非常简单的代码片段测试 HtmlAgilityPack，但它仍然失败，我不明白为什么

var html2 = @"http://www.monki.com/en_sek/newin/view-all-new.html";

            HtmlWeb web2 = new HtmlWeb();

            var htmldoc2 = web2.Load(html2);

            var node2 = htmldoc2.DocumentNode.SelectSingleNode("//head/title");

            Console.WriteLine("\n\n\n\n");

            Console.WriteLine("Node Name2: " + node2.Name + "\n" + node2.OuterHtml + "\n" + node2.InnerText);

我当然检查了页面上的标题和标题，但 node2 仍然为空，我无法弄清楚原因。

标签： c#html-agility-pack

解决方案

看起来该网页正在尝试设置 cookie。也看到这个答案有同样的问题

var loader = new HtmlWeb{ UseCookies = true };
var doc = loader.Load(@"http://www.monki.com/en_sek/newin/view-all-new.html");

var node2 = doc.DocumentNode.SelectSingleNode("//head/title");
Console.WriteLine("\n\n\n\n");
Console.WriteLine("Node Name2: " + node2.Name + "\n" + node2.OuterHtml + "\n" + node2.InnerText);

推荐阅读