typo3-9.x - Typo3 9.5:使用前端登录抓取页面
问题描述
我在一个基于 Typo3 v9.5.23 的 Intranet 上进行了工作。他们使用 indexed_search v9.5.23 和 crawler v9.1.5 来爬取页面,但在我为每个页面获取tx_crawler_queue
的列中的数据库表中。result_data
{"content":"\"403 Access denied\""}
要查看您必须以前端用户身份登录的页面。我必须做什么才能抓取这些页面?
我正在使用带有以下命令的控制台:
vendor/bin/typo3 crawler:flushQueue all
vendor/bin/typo3 crawler:buildQueue 69 intranet --depth=2
vendor/bin/typo3 crawler:processQueue
解决方案
在爬虫配置中,您会找到一个字段Crawl with FE user groups
。
由于任何 FE 登录都需要 FE 用户组,您应该选择可能的组进行爬网。
推荐阅读
- php - 如何创建一个返回多个聚合的 Laravel Eloquent 查询?
- http - 使用带有 Go-chi 参数的中间件包装处理程序
- bazel - 找不到 @bazel_skylib//:bzl_library.bzl 的包
- flutter - JSON vs SharedPreferences 包
- python - 在 Djang 中为管理员设置“登录身份”按钮
- pytorch - “对于数据加载器中的 tokens_tensor、segments_tensors、att_mask、pos_id、trg:NameError:未定义名称‘data_loader’”
- javascript - 反应“列表中的每个孩子都应该有一个唯一的'关键'道具”
- javascript - 填充远程加载的 javascript 的文本框
- c# - 如何 Linq 平均
- php - 如何通过函数将自定义类添加到 woocommerce 购物车缩略图标签?