时间戳

首页 > 解决方案 > Mongoengine / MongoDB模型过滤基于字典字段中的关键存在

python - Mongoengine / MongoDB模型过滤基于字典字段中的关键存在

问题描述

我正在使用 Mongoengine 构建一个数据模型来存储一些元数据，在这种情况下是电子邮件文件。非常精简的模型，只有与我的问题相关的领域，是：

class Email(Document):
    headers = DictField()

标题字典将包含从电子邮件中提取的标题数据，这些数据以键值关系工作。

我知道，在这个标题数据中，有时会出现一个带有名称（和字典键）的x-mailer标题：（所有标题键都是自动小写的）。我已经构建了一个简单的查询，以查看标头是否包含此键，如下所示：

xmailer_emails = Email.objects.filter(headers__exists='x-mailer')

但是，此结果不包含集合中的所有条目，但它包含很多在字典中email没有x-mailer作为键的条目。headers这是我用来检查结果数据的一些代码：

xmailer_emails = Email.objects.filter(headers__exists='x-mailer'))
log(xmailer_emails._query)

log('Total email count: ' + str(Email.objects.count()))
log('X-Mailer email acount: ' + str(xmailer_emails.count()))

no_xmailer = len([e for e in xmailer_emails if 'x-mailer' not in e.headers])
log('Filtered no x-mailer count: ' + str(no_xmailer))

has_xmailer = len([e for e in xmailer_emails if 'x-mailer' in e.headers])
log('Filtered has x-mailer count: ' + str(has_xmailer))

这是我得到的输出：

[21:32:54 05/27/19] {'headers': {'$exists': 'x-mailer'}}
[21:32:54 05/27/19] Total email count: 86
[21:32:54 05/27/19] X-Mailer email count: 79
[21:32:54 05/27/19] Filtered no x-mailer count: 55
[21:32:54 05/27/19] Filtered has x-mailer count: 24

x-mailer因此，虽然集合中有 86 个条目，但它在 in 的过滤器中拉回了 79 个条目headers。过滤掉那些只有 24 个实际上在字典中有该键值。我似乎做错了什么，但我不知道是什么。

这是它还拉回的一些不包含x-mailer密钥的项目的简短转储，这些是密钥：

dict_keys(['x-receiver', 'to', 'mime-version', 'received', 'x-priority', 'x-sender', 'date', 'content-type', 'message-id', 'subject', 'x-riferimento-message-id', 'from'])
dict_keys(['content-type', 'mime-version'])
dict_keys(['x-wum-to', 'date', 'x-uidl', 'message-id', 'in-reply-to', 'x-wum-replyto', 'x-message-delivery', 'mime-version', 'received', 'x-savecopy', 'authentication-results', 'x-wum-nature', 'x-account-key', 'x-wum-from', 'message-context', 'x-originalarrivaltime', 'x-me-spamrating', 'x-me-spamlevel', 'to', 'x-dkim-result', 'x-mozilla-status', 'x-mozilla-status2', 'references', 'x-auth-result', 'x-store-info', 'return-path', 'x-message-info', 'x-sid-pra', 'x-message-status', 'sender', 'x-wum-cci', 'content-type', 'reply-to', 'subject', 'from'])
dict_keys(['x-ms-has-attach', 'to', 'mime-version', 'received', 'thread-topic', 'x-auto-response-suppress', 'x-ms-exchange-organization-authsource', 'content-language', 'content-type', 'date', 'subject', 'message-id', 'thread-index', 'reply-to', 'from'])

我不知道发生了什么，虽然exists操作员在工作，但它还包括不匹配的文档，但不是集合中的每个文档。

我还在 mongoengine 存储库上提出了这个问题，但没有回复（除了exists操作员的链接 SO 问题）：https ://github.com/MongoEngine/mongoengine/issues/2059

标签： pythonmongodbdictionarymongoengine

解决方案

您实际需要执行的 pymongo 查询如下：

c.find({'headers.x-mailer': {'$exists': True}})

如果你有简单的键（例如“xmailer”而不是“x-mailer”），你可以在 mongoengine 中实现这一点： Email.objects.filter(headers__xmailer__exists=True))

但是您可以使用raw运算符来实现它：

Email.objects.filter(__raw__={'headers.x-mailer': {'$exists': True}})

推荐阅读