python - 导出到 .csv 或 .xslx 时如何翻译刮取文本的语言?
问题描述
我正在尝试从各种公共政府网站上抓取选举结果,并将它们放在 .csv 或 .xlsx 文件中。但是,当我将文本数据导出到任一类型的电子表格时,我会遇到如下输出:
ÏÎ˲ÒÈ×ÍÀ ÏÀÐÒ²ß "ÓÊÐÀ¯ÍÑÜÊÀ ÑÒÐÀÒÅÃ²ß ÎÎÉÑÌÀÍÀ"
在网站上,文本如下所示:
ПОЛІТИЧНА ПАРТІЯ "СЛУГА НАРОДУ"
但我试图让它看起来像:
政党“人民公仆”
我尝试将 .csv 文件导入使用 UTF-8 和各种其他“文件来源”编码的新 excel 文档,但输出看起来相同。我什至尝试在 Google Sheets 上使用 Google Translate 翻译文本,但这也不起作用。关于如何翻译/音译最初采用不同脚本(文本样式)的抓取文本的任何想法?
这是我的脚本:
import requests
from requests import get
from bs4 import BeautifulSoup
import pandas as pd
from time import sleep
from random import randint
partynames = []
for page in range(11,222):
page = requests.get("https://www.cvk.gov.ua/pls/vnd2019/wp304pt001f01=919pf7331=" + str(page) + ".html", verify=False)
soup = BeautifulSoup(page.text, 'html.parser')
ukraine_tr = soup.find_all('tr')
sleep(randint(2,10))
for container in ukraine_tr:
#### PARTY NAMES ####
partyn = container.find('a',class_='a2')
if partyn is not None:
name = partyn.get_text()
else:
name = "N/A"
partynames.append(name)
ukraine = pd.DataFrame({
'pty_n': partynames
})
ukraine.to_csv('ukraine.csv')
解决方案
实际上,有一个简单的解决方法:
您必须使用以下代码交换编码:
page.encoding = page.apparent_encoding
这是一个基于您的代码的工作示例:
import requests
from bs4 import BeautifulSoup
import pandas as pd
from time import sleep
from random import randint
partynames = []
for page in range(11, 12):
page = requests.get("https://www.cvk.gov.ua/pls/vnd2019/wp304pt001f01=919pf7331=" + str(page) + ".html",
verify=False)
page.encoding = page.apparent_encoding
soup = BeautifulSoup(page.text, 'html.parser')
ukraine_tr = soup.find_all('tr')
sleep(randint(2, 10))
for container in ukraine_tr:
partyn = container.find('a', class_='a2')
if partyn is not None:
name = partyn.get_text()
else:
name = "N/A"
partynames.append(name)
ukraine = pd.DataFrame({
'pty_n': partynames
})
ukraine.to_csv('ukraine.csv')
输出:
3,"ПОЛІТИЧНА ПАРТІЯ ""СЛУГА НАРОДУ"""
4,"ПОЛІТИЧНА ПАРТІЯ ""УКРАЇНСЬКА СТРАТЕГІЯ ГРОЙСМАНА"""
5,"Політична партія ""Європейська Солідарність"""
6,"політична партія Всеукраїнське об’єднання ""Батьківщина"""
7,"ПОЛІТИЧНА ПАРТІЯ ""СИЛА І ЧЕСТЬ"""
8,"Політична партія ""ОПОЗИЦІЙНА ПЛАТФОРМА – ЗА ЖИТТЯ"""
9,"Політична Партія ""ГОЛОС"""
10,"політична партія Всеукраїнське об’єднання ""Свобода"""
11,"ПОЛІТИЧНА ПАРТІЯ ""ПАРТІЯ ШАРІЯ"""
12,"ПОЛІТИЧНА ПАРТІЯ ""РАДИКАЛЬНА ПАРТІЯ ОЛЕГА ЛЯШКА"""
13,"Політична партія ""ОПОЗИЦІЙНИЙ БЛОК"""
14,"політична партія ""Громадянська позиція"""
15,"Політична партія ""Рух Нових Сил Михайла Саакашвілі"""
16,"ПОЛІТИЧНА ПАРТІЯ ""ПАРТІЯ ЗЕЛЕНИХ УКРАЇНИ"""
17,"Політична партія ""Об’єднання ""САМОПОМІЧ"""
18,Аграрна партія України
19,"Політична партія ""Сила Людей"""
20,"ПОЛІТИЧНА ПАРТІЯ ""СИЛА ПРАВА"""
21,"ПОЛІТИЧНА ПАРТІЯ ""СОЦІАЛЬНА СПРАВЕДЛИВІСТЬ"""
22,"Політична Партія ""ПАТРІОТ"""
23,"ПОЛІТИЧНА ПАРТІЯ ""НЕЗАЛЕЖНІСТЬ"""
24,"ПОЛІТИЧНА ПАРТІЯ ""ВСЕУКРАЇНСЬКЕ ОБ’ЄДНАННЯ ""ФАКЕЛ"""
编辑:
翻译东西!
您可以使用googletrans将源文本翻译成英文。
首先运行这个pip install googletrans
然后试试这个:
from time import sleep
from random import randint
import pandas as pd
import requests
from bs4 import BeautifulSoup
from googletrans import Translator
traslator = Translator()
partynames = []
for page in range(11, 12):
page = requests.get("https://www.cvk.gov.ua/pls/vnd2019/wp304pt001f01=919pf7331=" + str(page) + ".html",
verify=False)
page.encoding = page.apparent_encoding
soup = BeautifulSoup(page.text, 'html.parser')
ukraine_tr = soup.find_all('tr')
sleep(randint(2, 10))
for container in ukraine_tr:
partyn = container.find('a', class_='a2')
if partyn is not None:
name = traslator.translate(partyn.get_text()).text
else:
name = "N/A"
partynames.append(name)
ukraine = pd.DataFrame({
'pty_n': partynames
})
ukraine.to_csv('ukraine.csv')
输出:
3,"POLITICAL PARTY ""SERVANT OF THE PEOPLE"""
4,"POLITICAL PARTY ""UKRAINIAN GROISMAN'S STRATEGY"""
5,European Solidarity Political Party
6,Batkivshchyna All-Ukrainian Union Political Party
7,"POLITICAL PARTY ""POWER AND HONOR"""
8,"Political party ""OPPOSITION PLATFORM - FOR LIFE"""
9,VOICE Political Party
10,"political party All-Ukrainian Union ""Freedom"""
11,"POLITICAL PARTY ""PARTY OF SHARIA"""
12,"POLITICAL PARTY ""RADICAL PARTY OF OLEH LYASHKO"""
13,OPPOSITION BLOC political party
14,Civic Position political party
15,Mikheil Saakashvili's New Forces Movement political party
16,"POLITICAL PARTY ""PARTY OF THE GREENS OF UKRAINE"""
17,SAMOPOMICH Association Political Party
18,Agrarian Party of Ukraine
19,People's Power Political Party
20,"POLITICAL PARTY ""POWER OF LAW"""
21,SOCIAL JUSTICE POLITICAL PARTY
22,PATRIOT Political Party
23,INDEPENDENCE POLITICAL PARTY
24,"ALL-UKRAINIAN ASSOCIATION ""TORCH"" POLITICAL PARTY"
推荐阅读
- javascript - 我想一次更改 2 张图片
- sql - 有没有办法编写一个 UPDATE 语句来修复包含错误数据的多行?
- java - 使用从数据库中检索的数据绘制图形时出现 NullPointerException
- go - 打开没有类型断言的接口类型
- php - Laravel - 更新模型时更新另一个属性
- scala - scala中的特别函数递归地连接两个列表:不使用“concat”
- python - Flask:如何将上传的文件作为输入传递给方法?AttributeError: '_io.BytesIO' 对象没有属性 'lower'
- reactjs - s.indexOf 不是 Function.n.fromString 的函数
- azure-active-directory - 图形 API 无法访问“https://graph.microsoft.com/v1.0/me/messages”端点
- html - 试图弄清楚如何使网站滚动