时间戳

首页 > 解决方案 > 抓取、上传和通知

web-scraping - 抓取、上传和通知

问题描述

我正在制作一个应用程序，它会在外部网站上有新项目时立即向用户发送通知

目前这个过程是手动的，我自己检查更新并发送通知。然后我更新我的网站以显示新项目。

我正在尝试使用网络爬虫在我的网站上运行以提取信息并将其显示在应用程序中，但即使是手动运行的。

有什么工具可以用来自动化这个过程吗？

所以会：

  1. 定期检查外部网站的更新。

  2. 获取更改并更新我的网站 (WordPress)

  3. 向用户发送通知

标签： web-scraping

解决方案

我已经自动化了类似的东西（不包括 WordPress 部分）。它也是一种用于监控新项目（出租公寓）网站的自动化：当有新公寓可用时 - 自动化会在我的手机上向我发送通知。

作为一个自动化工具，我使用了 Easybots Studio ( https://easybots.net ) - 简单、免费，具有我需要的所有开箱即用的功能，我可以编写自己的“机器人”。

1. HTML 监控

简而言之，自动化解决方案类似于：

  • 15 分钟过去了
    • [HTML Bot] 获取页面的 HTML
      • [HTML Bot] GetAllBySelector(".someHtmlElementClass") （获取公寓列表中的所有 html 元素）
        • foreach 新列表
          • Pushbullet Bot. 在我的手机上发送通知

点击查看Easybots Studio中实际实现的图片

自动化基于他们的博客条目（“监控网站以获取快速销售的剧院门票”），这在这里也可能会有所帮助。

因此，如果您走这条路，您将需要探索外部网站的 HTML，并查看项目是如何列出的。HTML bot 需要这样才能通过“SelectAllByXPath”或“GetAllBySelector”获取所有项目。

2. WordPress 自动化

至于自动化 WordPress 部分 - 我在他们的网站上找不到这样做的机器人，但你可以开发自己的应用程序（WordPress 有 REST API 可能性），或者甚至可以联系 easybots 支持以查看他们是否有这样的机器人管道。

如果您是 .Net 开发人员 - 这是使用 WordPress Rest API 的起点：https ://dev.to/yeisonpx/connecting-to-wordpress-using-c-5688

3. 发送通知

在 Easybots 中，有可用于发送电子邮件的电子邮件机器人，还有一些移动通知机器人（pushbullet、pushover 等）。在问题中没有指定需要什么样的通知，但是使用 Easybots 应该很容易。

其他工具：WinAutomation、Automation Anywhere、UiPath..

推荐阅读