时间戳

首页 > 解决方案 > 通过电子邮件将 html 发送到 csv 文件

html - 通过电子邮件将 html 发送到 csv 文件

问题描述

我有一封 html 格式的电子邮件，需要下载它，并且需要将一个 csv 分号字段分隔符结果生成一个新文件。

收到的电子邮件示例：

Content-Type: text/html; charset=UTF-8
<b>Thu Jul 11 2019</b><hr><table style=3D"border=
: 1px solid #dddddd;border-collapse: collapse;text-align: left;"><tr><th st= yle=3D"padding: 8px;background-color: #cce6ff">Name</th><th styl=
e=3D"padding: 8px;background-color: #cce6ff">CI</th><th style=3D"padding: 8=
px;background-color: #cce6ff">DH</th><th style=3D"padding: 8px;backgro=
und-color: #cce6ff">FG</th><th style=3D"padding: 8px;background-color: #c=
ce6ff">Mon</th><th style=3D"padding: 8px;background-color: #cce6ff">DATE=
(UTC)</th></tr><tr><th style=3D"padding: 8px;">Arael Amarel</th><th style=
=3D"padding: 8px;">30549214</th><th style=3D"padding: 8px;">099981496</th><=
th style=3D"padding: 8px;">43</th><th style=3D"padding: 8px;">-</th><th sty=
le=3D"padding: 8px;">2019-07-11T10:06:34.311Z</th></tr><tr><th style=3D"pad=
ding: 8px;background-color: #dddddd">MATIN TARDEI</th><th style=3D"padding=
: 8px;background-color: #dddddd">45159820</th><th style=3D"padding: 8px;bac=
kground-color: #dddddd">094432451</th><th style=3D"padding: 
8px;background-=
color: #dddddd">32</th><th style=3D"padding: 8px;background-color: #dddddd"=
-</th><th style=3D"padding: 8px;background-color: #dddddd">2019-07- 
11T10:2=
8:41.198Z</th></tr>

需要的 csv 输出：

Name;CI;DH;FG;Mon;DATE (UTC)
Arael Amarel;30549214;099981496;43;-;2019-07-11T10:06:34.311Z
MATIN TARDEI;45159820;094432451;32;-;2019-07-11T10:28:41.198Z

如果我在客户端上打开此邮件，则表格一切正常，但我认为如果我将 procmail 的内容（由 procmail 保存）放入 .html 文件并打开它，则 procmail 存在格式问题如果我查看此内容，则无法处理内容，所有行尾都标有“=”，这意味着很多问题，此外，它们是表格对齐和其他内容中的一些问题，这使其成为噩梦处理内容以提取。

我用过滤器制作了一个 procmailrc，将 html 格式转换为纯 procmailrc 文件：

MAILDIR=/new/mail/htmlconvert
:0
* ^Content-Type: text/html.*;
{
:0c
$MAILDIR/converted/
:0fwb
| `which html2text`
:0fwh
| `which formail` -i "Content-Type: text/plain; charset=UTF-8"
}

这是第 1 次尝试，如果我直接从文件中使用 html2text，则转换器无法使用我很难使用的 html2text 转换器，结果是：

html2文本

===============================================================================
 1px solid #dddddd;border-collapse: collapse;text-align: left;">
px;background-color: #cce6ff">NAME
px;background-color: #cce6ff">CI
= px;background-color: #cce6ff">DH
px;backgro= und-color: #cce6ff">FG
px;background-color: #c= ce6ff">Mon
px;background-color: #cce6ff">DATE= (UTC)
px;">Arael Amarel
px;">30549214
px;">099981496
<= th style=3D"padding: 8px;">43
px;">-
px;">2019-07-11T10:06:34.311Z
px;background-color: #dddddd">MATIN TARDEI
 8px;background-color: #dddddd">45159820
px;bac= kground-color: #dddddd">094432451
px;background-= color: #dddddd">32
px;background-color: #dddddd"= >-
px;background-color: #dddddd">2019-07-11T10:2= 8:41.198Z
px;">

已经尝试将 lynx -dump -force-html 添加到文件中，结果无法达到 csv 格式输出。

html2text -nobs (file)

Name;CI;DH;FG;Mon;DATE (UTC)
Arael Amarel;30549214;099981496;43;-;2019-07-11T10:06:34.311Z
MATIN TARDEI;45159820;094432451;32;-;2019-07-11T10:28:41.198Z

更新：我已经将tripleee的解决方案应用于procmailrc，但是邮件的格式仍然与原始来源相同，qprint并没有随着这个变化而改变格式。但是已经尝试将其直接写入文件并且工作正常。实际解决方案：

qprint -d -n <1563019338.1197_0.localhost.localdomain |
html2text -style pretty |
awk '/^-------------------------------------------------------------------------------/{p=1}p'

- 行是邮件正文和之前内容的分隔符，显示如下：

-------------------------------------------------------------------------------

NAME         CI       CD   FG  HJ DATE (UTC)
Yaiaa Fereeira        52104575 097325303 20    -     2019-07-12T10:46:24.716Z
Gabtiel Aosta Sclavi   42445135 098322361 42    -     2019-07-12T11:07:36.110Z

现在需要将此内容制作到 csv 中，我认为第一部分会更容易，但希望将其自动化到 procmail 以通过邮件下载来完成。

procmail 更改 procmailrc 的结果是邮件正文仍以“=”作为行尾，但在标题中有：

Content-Transfer-Encoding: quoted-printable
Content-Type: text/html; charset=UTF-8

使用 procrc 中的 qprint 更新电子邮件结果源

Return-Path: 
Delivered-To: 
Return-path: 
Envelope-to: 
Delivery-date: Sat, 13 Jul 2019 08:03:48 -0300
Content-Transfer-Encoding: quoted-printable
Content-Type: text/html; charset=UTF-8
Date: Sat, 13 Jul 2019 11:03:02 +0000 (UTC)
From: 
Mime-Version: 1.0
To: 
Message-ID: 
Subject:Fri Jul 12 2019
X-Spam-Flag: NO

<b>Fri Jul 12 2019</b><hr><table style=3D"border=
: 1px solid #dddddd;border-collapse: collapse;text-align: left;"><tr><th st=
yle=3D"padding: 8px;background-color: #cce6ff">NAME</th><th styl=
e=3D"padding: 8px;background-color: #cce6ff">CI</th><th style=3D"padding: 8=
px;background-color: #cce6ff">CD</th><th style=3D"padding: 8px;backgro=
und-color: #cce6ff">FG</th><th style=3D"padding: 8px;background-color: #c=
ce6ff">HJ</th><th style=3D"padding: 8px;background-color: #cce6ff">DATE=
 (UTC)</th></tr><tr><th style=3D"padding: 8px;">Yaiaa Fereeira</th><th st=
yle=3D"padding: 8px;">52104575</th><th style=3D"padding: 8px;">097325303</t=
h><th style=3D"padding: 8px;">20</th><th style=3D"padding: 8px;">-</th><th =
style=3D"padding: 8px;">2019-07-12T10:46:24.716Z</th></tr>

我在标准输入中有日志，因为 procmail 无法写入日志文件，正如您在此日志详细信息中看到的那样：

1 message for aaa@aaa.com at aaa.com (25330 octets).
reading message aaa@aaa.com@aaa.com:1 of 1 (25330 octets)........................procmail: Error while writing to "/info/in/log"
procmail: [20191] Mon Jul 15 08:55:34 2019
procmail: Assigning "FORMAIL=/usr/bin/formail"
procmail: Assigning "QPRINT=/usr/local/bin/qprint"
procmail: Match on "^Content-Type: text/html;"
procmail: Assigning "LASTFOLDER=converted/new/1563191734.20191_0.localhost.localdomain"
 Subject: Sun Jul 14 2019
  Folder: converted/new/1563191734.20191_0.localhost.localdomain          24985
procmail: Executing " qprint -d -n | html2text -nobs "
procmail: Executing " formail -I "Content-Type: text/html; charset=UTF-8"
procmail: Skipped "Mail"
procmail: Skipped "/"
From aaaaaa.com@aaa.com  Mon Jul 15 08:55:34 2019
 Subject: Sun Jul 14 2019
  Folder: **Bounced**                                                     24985
fetchmail: MDA returned nonzero status 73
 not flushed

标签： htmllinuxprocmail

解决方案

您帖子中的示例看起来根本不像是有效的电子邮件正文。我猜它是 MIME 消息中的正文部分，带有Content-type: text/html（含糊地指出）和Content-transfer-encoding: quoted-printabe. 后者是引入=您认为有问题的转义的原因。解码它们实际上是相当简单的，但如何从 Procmail 中准确地做到这一点取决于包含消息的整体组成，以及您可用的实用程序。不幸的是，Procmail 本身不知道 MIME 结构，因此您必须依赖外部工具。

顺便说`which ...`一句，您的食谱中的命令是完全多余的。为了which工作，你正在寻找的实用程序需要在你的PATH......这意味着 Procmail 可以在没有which.

如果 Procmail 的 default 中没有某些内容PATH，只需在文件PATH顶部附近更新即可.procmailrc。这也应该消除使用$FORMAIL等变量的需要。只需使用formail并确保它在 Procmail 的PATH.

要使您的配方起作用，MIME 结构必须是单部分消息。如果情况确实如此，并且您html2text在其他方面是正确的，那么您需要的唯一解决方法是在通过管道之前解码内容传输编码。假设你有qprint，并且which删除了多余的电话，那就离开

:0
* ^Content-Type: text/html.*;
{
  :0c  # no need to spell out $MAILDIR/ prefix
  converted/
  :0fwb
  | qprint -d | html2text
  :0fwh
  | formail -i "Content-Type: text/plain; charset=UTF-8" \
        -i "Content-transfer-encoding: 8bit"
}

如果实际上 MIME 正文结构更复杂，则可以编辑您的问题以包含实际的电子邮件来源，而不是您当前的即兴解释。

换句话说，更详细地说，如果您的输入消息看起来像

From: sender <sender@example.net>
To: you <you@example.org>
Subject: HTML table
MIME-Version: 1.0
Content-Type: text/html; charset=UTF-8
Content-Transfer-Encoding: quoted-printable

<b>Thu Jul 11 2019</b><hr><table style=3D"border=
: 1px solid #dddddd;border-collapse: collapse;text-align: left;"><tr><th st=
yle=3D"padding: 8px;background-color: #cce6ff">Name</th><th styl=
e=3D"padding: 8px;background-color:....

那么上面的食谱应该基本上可以工作。但另一方面，如果你的实际信息更像

From: sender <sender@example.net>
To: you <you@example.org>
Subject: HTML table
MIME-Version: 1.0
Content-Type: multipart/mixed; boundary=0xdeadbeef

This is a multi-part MIME message.

--0xdeadbeef
Content-Type: text/html; charset=UTF-8
Content-Transfer-Encoding: quoted-printable

<b>Thu Jul 11 2019</b><hr><table style=3D"border=
: 1px solid #dddddd;border-collapse: collapse;text-align: left;"><tr><th st=
yle=3D"padding: 8px;background-color: #cce6ff">Name</th><th styl=
e=3D"padding: 8px;background-color:....

--0xdeadbeef--

那么第一个条件将不匹配（标头不包含Content-type: text/html），但块内的操作也需要在多个位置更新，因为围绕 HTML 正文部分的 MIME 需要解包或以其他方式重组。这是解决这个问题的一个非常快速而肮脏的尝试。

:0
* ^Content-Type: multipart/mixed
{
  :0c  # no need to spell out $MAILDIR/ prefix
  converted/
  :0fwb
  | perl -0777 -pe 's/=([0-9A-F]{2})/ chr(oct("0x$1"))/ge; \
    s/=\n//g; \
    s%</table>.*%%s; \
    s%.*<table[^<>]*>%%s; \
    s%<tr[^<>]*><t[dh][^<>]*>%\n%g; \
    s%<t[dh][^<>]*>%;%g; \
    s%</t[rdh]>%%g; \
    s%^\n+%%;'
  :0fwh
  | formail -i "Content-Type: text/plain; charset=UTF-8" \
        -i "Content-transfer-encoding: 8bit"
}

稍作调整，它也应该适用于单部分变化。但是您应该意识到 Perl 脚本是一个非常粗略的剪辑，而不是一个合适的 HTML 解析器。

该f标志使 Procmail 将输入消息替换为管道的输出。然后formail调用是必要的，因为在您将原始内容替换为不同类型和不同编码的内容后，原始 MIME 标头不再正确。如果您只想将 CSV 数据提取到外部文件中，则可以跳过后者，将前者简化为

:0
* ^Content-type: text/html
{
  :0c
  converted/
  :0b  # no w flag necessary either once we drop f
  | qprint -d | html2text >>result.csv
}

我们再次假设单部分 MIME 消息作为输入。是否覆盖输出文件而不是追加（或者可能每次写入不同的 CSV 文件）将取决于您的特定用例以及您希望接收这些消息的频率。

（不是特别认可qprint; 有许多类似的实用程序，但没有什么特别普遍的。不幸的是 GNU Coreutils 维护者坚决拒绝包含类似的实用程序。）

推荐阅读