首页 > 解决方案 > 如何正确从网站获取 cookie?

问题描述

当我从集成开发环境运行它时,我的代码可以正确地从站点接收 cookie 并将其保存在一个文件中:

String url = "https://www.avito.ru";
Map<String, String> cookies = Jsoup.connect(url).execute().cookies();
ObjectOutputStream out = new ObjectOutputStream(new FileOutputStream(file));
out.writeObject(cookies);
System.out.println("Get cookies from: " + url + " and write into: " + file.getName());
System.out.println(cookies);
out.close();

但是当我在 Heroku 服务器上上传并运行它时(但此时我暂时将 cookie 存储在处理程序对象中),我在日志中得到一个错误。它发生在步骤 .execute() 处。Heroku 代码:

try {
       Map <String, String> cookies = Jsoup.connect(url)
                                    .execute()
                                    .cookies();
       cookieHandler.setAvitoCookies(cookies);
       System.out.println("> AVITO COOKIE:" + cookies); 
    } catch (IOException e) {
        e.printStackTrace();
    }

Heroku 错误日志:

org.jsoup.HttpStatusException: HTTP error fetching URL. Status=403, URL=https://www.avito.ru

有什么解决方案可以正确获取 cookie 吗?

标签: javaparsingherokucookies

解决方案


HttpStatusException因为服务器返回了 403 状态码,所以您得到了一个。如果您想从错误响应(4xx - 5xx 状态代码)中读取 cookie,请添加ignoreHttpErrors(true)方法:

Map <String, String> cookies = Jsoup.connect(url)
                                    .ignoreHttpErrors(true)
                                    .execute()
                                    .cookies();

推荐阅读