时间戳

首页 > 解决方案 > 如何调整 sparql 查询以返回更简短的信息

sparql - 如何调整 sparql 查询以返回更简短的信息

问题描述

我是这方面的新手，提问方面，所以如果您需要任何其他信息，请告诉我。

我有一个包含 2900 个条目的数据集，其中大部分是荷兰和佛兰芒诗人。我想通过查询 wikidata 向这个数据框添加信息；性别、国籍、出生日期、死亡日期。现在两个小国能有多少诗人？并非所有这些都可以在 wikidata 上找到（我稍后会处理），对于那些，信息有时非常稀缺。

我使用了以下查询：

import requests

def get_data_for_poet(poet):
    url = 'https://query.wikidata.org/sparql'
    query = '''
    prefix schema: <http://schema.org/>
            SELECT ?item ?occupation ?genderLabel ?bdayLabel ?bnatLabel ?deathLabel
            WHERE {
                ?item ?label "''' + poet + '''"@en.
                ?item wdt:P106 ?occupation .
                ?item wdt:P21 ?gender .
                ?item wdt:P569 ?bday .
                ?item wdt:P27 ?bnat .
                ?item wdt:P570 ?death .

            SERVICE wikibase:label { bd:serviceParam wikibase:language "en" }
        }
'''

r = requests.get(url, params = {'format': 'json', 'query': query})
try:
    #print(r.content)
    data = r.json()
    return {
        'gender': data['results']['bindings'][0]['genderLabel']['value'],
        'birthday': data['results']['bindings'][0]['bdayLabel']['value'],
        'death': data['results']['bindings'][0]['deathLabel']['value'],
        'nationality': data['results']['bindings'][0]['bnatLabel']['value'],
    }
except:
    return {
        'gender': 'Onbekend',
        'birthday': 'Onbekend',
       'death' : 'Onbekend',
        'nationality': 'Onbekend'
    }

然后我为前 20 个条目运行以下代码：

import time
import math

def get_poet_metadata_for_row(row):
    f = math.floor(row['index']/80) # the API returns errors 472 if it goes any faster
    print(row['index'])
    time.sleep(1+f)
    poet = row['Dichter']    
          
    
    if poet == 'Onbekend':
        return pd.Series(['Onbekend', 'Onbekend', 'Onbekend', 'Onbekend'])
                         
    data = get_data_for_poet(poet)
    
    print(data)
    
    poets[poet] = data
    
    return pd.Series([data['birthday'],data['nationality'],data['gender'],data['death']])


df[['Geboortedatum','Nationaliteit', 'Geslacht', 'Gestorven']] = df[:20].apply(get_poet_metadata_for_row, axis=1)

但不幸的是，我注意到查询仅在 Q ID 的所有四条信息都可用时才返回信息。

这是输出的一部分：

12
{'gender': 'male', 'birthday': '1934-08-04T00:00:00Z', 'death': '2012-07-11T00:00:00Z', 'nationality': 'Kingdom of the Netherlands'}
13
{'gender': 'Onbekend', 'birthday': 'Onbekend', 'death': 'Onbekend', 'nationality': 'Onbekend'}
14
{'gender': 'Onbekend', 'birthday': 'Onbekend', 'death': 'Onbekend', 'nationality': 'Onbekend'}
15
{'gender': 'Onbekend', 'birthday': 'Onbekend', 'death': 'Onbekend', 'nationality': 'Onbekend'}
16
{'gender': 'Onbekend', 'birthday': 'Onbekend', 'death': 'Onbekend', 'nationality': 'Onbekend'}

然后我尝试逐个查询这些信息（第一个性别，然后是生日等），但这确实需要很长时间。

如何调整查询以返回所有信息，即使假设只知道性别？我尝试了一些东西，OPTIONAL但它变得非常快。我是 SPARQL 的新手，因此不胜感激。

另外，考虑到我在这个数据集上花费的时间，我可能会遭受隧道视觉的困扰，但是如果有 python 包可以做到这一点，我很想知道。

标签： sparqlwikidata

解决方案

使用的直觉OPTIONAL是正确的。您必须为您认为可选（即不必要）的每一个信息添加它。

此外，为了避免误报，我认为您还应该使用rdfs:label而不是泛型?label（可以引用任何属性）。

PREFIX schema: <http://schema.org/>
SELECT ?item ?occupation ?genderLabel ?bdayLabel ?bnatLabel ?deathLabel
WHERE {
    ?item rdfs:label "Marc Tritsmans"@en.
    ?item wdt:P106 ?occupation .
    OPTIONAL { ?item wdt:P21 ?gender . }
    OPTIONAL { ?item wdt:P569 ?bday . }
    OPTIONAL { ?item wdt:P27 ?bnat . }
    OPTIONAL { ?item wdt:P570 ?death . }
    SERVICE wikibase:label { bd:serviceParam wikibase:language "en" }
}

在此处查看演示。

推荐阅读