时间戳

首页 > 解决方案 > 增量导入后 Apache Solr 仍保留旧数据

solr - 增量导入后 Apache Solr 仍保留旧数据

问题描述

我正在使用 solr 7.6。

我从 mysql 进行完全导入，表格customer如下所示：

customer_id pk   int
customer_code    varchar
name             varchar
update_datetime  timestamp

我修改一条记录，改变

customer_id    customer_code    name

46027          C1               zxc

到

customer_id    customer_code    name

46027          C1               789

然后我做增量导入data-config看起来像

<dataConfig>

  <dataSource type="JdbcDataSource" driver="com.mysql.cj.jdbc.Driver"
    url="jdbc:mysql://localhost:3306/test" user="test" password="123456"/>
  <document>

    <entity name="customer" pk="customer_id"
            query="select customer_id, customer_code, name from customer"
            deltaImportQuery="select customer_id, customer_code, name from customer where customer_id='${dih.delta.customer_id}'"
            deltaQuery="select customer_id from customer where update_datetime &gt; '${dih.last_index_time}'"
            >        
    </entity>
  </document>
</dataConfig>

增量导入成功，solr 可以用 query 返回新结果name:789。

但是，当我使用旧数据查询时name:zxc，它仍然可以返回旧数据：

{
  "responseHeader":{
    "status":0,
    "QTime":0,
    "params":{
      "q":"name",
      "_":"1547619027918"}},
  "response":{"numFound":1,"start":0,"docs":[
      {
        "customer_id":46027,
        "name":"zxc",
        "id":"dd513a36-dfff-4ed2-a4fe-f728f42adfce",
        "_version_":1622797739301535744}]
  }}

为什么？如果这条记录已经更新，我怎样才能让 solr 删除旧数据？

customer_id是intMySql 中类型的主键。

我添加了Solr 的 and 并customer_id设置为.nameschemacustomer_idpint

下一个截图是schemaSolr 的标签，上面写着unique key fieldis id。

在此处输入图像描述

----------------更新--------------------------------

是managed-schema.xml：

<?xml version="1.0" encoding="UTF-8"?>
<!-- Solr managed schema - automatically generated - DO NOT EDIT -->
<schema name="default-config" version="1.6">
  <uniqueKey>id</uniqueKey>
  <fieldType name="ancestor_path" class="solr.TextField">
    <analyzer type="index">
      <tokenizer class="solr.KeywordTokenizerFactory"/>
    </analyzer>
    <analyzer type="query">
      <tokenizer class="solr.PathHierarchyTokenizerFactory" delimiter="/"/>
    </analyzer>
  </fieldType>
  <fieldType name="binary" class="solr.BinaryField"/>
  <fieldType name="boolean" class="solr.BoolField" sortMissingLast="true"/>
  <fieldType name="booleans" class="solr.BoolField" sortMissingLast="true" multiValued="true"/>

  <!-- field : delimited_payloads_float, delimited_payloads_int, 
  delimited_payloads_string, descendent_path, location, location_rpt,
   lowercase-->

  <!-- field starts with p, e.g. pdate -->

  <fieldType name="random" class="solr.RandomSortField" indexed="true"/>
  <fieldType name="string" class="solr.StrField" sortMissingLast="true" docValues="true"/>
  <fieldType name="strings" class="solr.StrField" sortMissingLast="true" docValues="true" multiValued="true"/>

  <!-- field name starts with text_-->

  <field name="customer_id" type="pint" uninvertible="true" indexed="true" stored="true"/>
  <field name="name" type="text_en" uninvertible="true" indexed="true" stored="true"/>
  <field name="_root_" type="string" docValues="false" indexed="true" stored="false"/>
  <field name="_text_" type="text_general" multiValued="true" indexed="true" stored="false"/>
  <field name="_version_" type="plong" indexed="false" stored="false"/>
  <field name="id" type="string" multiValued="false" indexed="true" required="true" stored="true"/>

  <!-- default dynamic fields -->
</schema>

标签： solrlucenedataimporthandler

解决方案

由于您没有 id 字段的值，Solr 正在为您生成一个唯一的值。您必须包含一个实际上是您要提交的文档的唯一 id 的 id，或者更改 uniqueKey 定义 - 我建议先做，因为以后可以在必要时轻松更改它。

如果customer_id唯一标识该文档，请添加customer_id AS id, ..到您的 SQL SELECT 语句中：

SELECT customer_id AS id, customer_id, customer_code, name FROM customer

推荐阅读