python - 如何使用 selenium 在网页上执行所有 javascript 内容以在完全加载的网页上查找和发送登录表单信息
问题描述
我一直在尝试制作一个 Python 脚本来登录某个网站,浏览菜单,填写表格并将它生成的文件保存到文件夹中。
我一直在使用 Selenium 试图使网站完全加载,以便我可以找到登录元素,但我没有成功,可能是因为网站在完全加载之前做了很多 JavaScript 内容,但我不能让它完全加载并向我展示我想要的数据。
我尝试了 Robobrowser、Selenium、Requests 和 BeautifulSoup 来完成它。
import requests
from bs4 import BeautifulSoup
from selenium import webdriver
url = "https://directa.natal.rn.gov.br/"
driver = webdriver.Chrome(executable_path="C:\\webdrivers\\chromedriver.exe")
driver.get(url)
html = driver.execute_script("return document.documentElement.outerHTML")
sel_soup = BeautifulSoup(html, 'html.parser')
senha = driver.find_element_by_xpath('//*[@id="senha"]')
senha.send_keys("123")
我希望用“123”填写密码(senha)字段,但我什至找不到该元素。
解决方案
似乎这里需要一点滚动,等待和切换,以防登录字段还没有准备好输入:) 下面应该可以工作,我们实际上滚动到元素,切换到 iframe,在我们与登录表单的其余部分交互之前。您可以将延迟从 5 秒调整为您喜欢的任何内容。
from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.common.exceptions import TimeoutException
""" Variables """
url = "https://directa.natal.rn.gov.br/"
delay = 5 # seconds
""" Initiate driver """
driver = webdriver.Chrome(executable_path="C:\\webdrivers\\chromedriver.exe")
""" Go to url """
driver.get(url)
""" Iframe switch """
WebDriverWait(driver, 10).until(EC.frame_to_be_available_and_switch_to_it((By.CSS_SELECTOR,"frame[name='mainsystem'][src^='main']")))
""" Attempt to get all our elements """
try:
""" Username """
usuario = WebDriverWait(driver, delay).until(EC.presence_of_element_located((By.ID, 'usuario')))
""" Password """
senha = WebDriverWait(driver, delay).until(EC.presence_of_element_located((By.ID, 'senha')))
print("All elements located!")
except TimeoutException:
print("Loading took too much time!")
exit(0)
"""Scroll to our element """
driver.execute_script("arguments[0].scrollIntoView();", usuario)
""" Input data into our fields """
usuario.send_keys("username")
senha.send_keys("password")
""" Locate our login element """
login = WebDriverWait(driver, delay).until(EC.presence_of_element_located((By.ID, 'acessar')))
""" Click Login """
login.click()
推荐阅读
- javascript - 为什么外部 js 文件在 laravel 5.6 中不起作用?
- python - 从其他列表中查找职位并将该职位应用到其他列表中
- powershell - Powershell正则表达式在字符串和字符之间获取字符串
- javascript - 使用javascript单击选项卡中的按钮
- python-3.x - 导入folium时如何解决“用于绘图的AttributeError”错误
- ios - 如何在部分更改单个单元格的高度
- java - Android 运行时(ART 或 Dalvik)是否包含 Java VM 堆栈或 JVM 之类的本机方法堆栈?
- visual-c++ - try/catch 和 MFC TRY/CATCH 有什么区别?
- haskell - 如何在 `Applicative` 上定义 `pure` 函数?
- mysql - MySQL Workbench 无法导出数据