html - 如何在 robots.txt 中禁用搜索引擎索引的 .htm、.html 链接
问题描述
我希望任何类型的链接都以 .htm 结尾，.html 扩展名不会被爬虫索引。我能为此做些什么。
我试过这个- **不允许：/*.htm$ **
解决方案
推荐阅读
- python - 模块“scipy.sparse”在网状虚拟环境中没有属性“linalg”错误
- c++ - 为什么 loadFromFile 在读取位置时会产生访问冲突？
- laravel - Laravel Jetstream Inertia 非授权路线
- android - 使用 Retrofit、okhttp 和 picasso 缓存图像和字符串
- python - 数据摄取：将动态文件从 S3 加载到 Snowflake
- javascript - 修改 localStorage 出现跨域错误
- python - 在 JSON 上访问数组内的数据
- javascript - 请求未处理
- linux - 在 shell 脚本中按 enter 键并忽略 nohup 输出
- python - PyCharm 无法识别它刚刚创建的解释器