时间戳

首页 > 解决方案 > 如何将 EventProcessorClient 配置为仅读取特定分区键（而不是分区 ID）的事件？

.net-core - 如何将 EventProcessorClient 配置为仅读取特定分区键（而不是分区 ID）的事件？

问题描述

我有一个带有 2 个分区的事件中心，并使用以下代码使用不同的分区键向它发送事件（基于https://github.com/Azure/azure-sdk-for-net/tree/master/sdk上的文档/eventhub/Azure.Messaging.EventHubs）。我正在为 .NET 使用 Azure.Messaging.EventHubs 库（使用 .net core 3.1）

await using (var producer = new EventHubProducerClient(connectionString, eventHubName))
{
    using EventDataBatch eventBatch = await producer.CreateBatchAsync(new CreateBatchOptions() { PartitionKey = "MyPartitionA" });

    eventBatch.TryAdd(new EventData(Encoding.UTF8.GetBytes("First")));
    eventBatch.TryAdd(new EventData(Encoding.UTF8.GetBytes("Second")));
    await produce.SendAsync(eventBatch);

    using EventDataBatch eventBatch2 = await producer.CreateBatchAsync(new CreateBatchOptions() { PartitionKey = "MyPartitionB" });

    eventBatch2.TryAdd(new EventData(Encoding.UTF8.GetBytes("Third")));
    eventBatch2.TryAdd(new EventData(Encoding.UTF8.GetBytes("Fourth")));

    await producer.SendAsync(eventBatch2);
}

如您所见，我使用分区键作为 MyPartitionA 发送了具有 2 个事件的第一批，使用分区键作为 MyPartitionB 发送了具有 2 个事件的第二批。有趣的是，来自两个分区键的事件都进入了同一个分区（即事件中心上的分区 0）。

在接收端，我正在尝试使用https://github.com/Azure/azure-sdk-for-net/tree/master/sdk/eventhub/Azure.Messaging.EventHubs.Processor#start-上的代码示例and-stop-processing如下所示（我正在使用用于 .NET 的 Azure.Messaging.EventHubs.Processor 库。）

async Task processEventHandler(ProcessEventArgs eventArgs)
{
    try
    {
        // Perform the application-specific processing for an event
        await DoSomethingWithTheEvent(eventArgs.Partition, eventArgs.Data);
    }
    catch
    {
        // Handle the exception from handler code
    }
}

async Task processErrorHandler(ProcessErrorEventArgs eventArgs)
{
    try
    {
        // Perform the application-specific processing for an error
        await DoSomethingWithTheError(eventArgs.Exception);
    }
    catch
    {
        // Handle the exception from handler code
    }   
}

private async Task ProcessUntilCanceled(CancellationToken cancellationToken)
{
    var storageClient = new BlobContainerClient(storageConnectionString, blobContainerName);
    var processor = new EventProcessorClient(storageClient, consumerGroup, eventHubsConnectionString, eventHubName);

    processor.ProcessEventAsync += processEventHandler;
    processor.ProcessErrorAsync += processErrorHandler;
    
    await processor.StartProcessingAsync();
    
    try
    {
        while (!cancellationToken.IsCancellationRequested)
        {
            await Task.Delay(TimeSpan.FromSeconds(1));
        }
        
        await processor.StopProcessingAsync();
    }
    finally
    {
        // To prevent leaks, the handlers should be removed when processing is complete
        processor.ProcessEventAsync -= processEventHandler;
        processor.ProcessErrorAsync -= processErrorHandler;
    }
}

我怎么在上面的代码中找不到只接收给定分区（比如 MyPartitionA）的事件而不是来自其他分区（比如 MyPartitionB）的事件的方法。

  1. 是否可以注册处理器以接收基于特定分区键（而不是分区 ID）的事件？
  2. 如果具有分区键 MyPartitionA 和 MyPartitionB 的事件都发送到事件中心中的分区 0，是否仍然可以仅接收单个分区键（例如 MyPartitionA）的事件，而不接收不具有相同分区键的其他事件，即使它们可能驻留在事件中心的同一分区中？

标签： .net-coreazure-eventhubazure-sdk-.net

解决方案

您无法使用 SDK 中的任何客户端读取基于分区键的事件。

分区键是一个综合概念，在事件发布后不会保留它。当您使用分区键发布时，该键会被散列，结果值用于选择将事件路由到的分区；其目的是确保相关事件被路由到同一个分区，但无需了解选择了哪个分区，也不提供任何公平分配保证。

要完成您要执行的过滤，您可能希望将分区键存储为事件的应用程序属性，然后将该值用作处理程序中的过滤器ProcessEventAsync。请注意，您将收到来自所有分区的所有事件——这是EventProcessorClient.

我认为我们对您的应用程序场景的上下文了解不够，无法帮助确定最佳方法，但根据我们所知道的，我建议考虑替代方案。由于您似乎需要明确读取一组事件，因此使用其 Id 而不是密钥发布到众所周知的分区可能会有所帮助。然后，您将能够使用该EventHubConsumerClient::ReadEventsFromPartitionAsync方法专门从该分区读取事件。当然，这需要您明确控制在应用程序中发布其他事件的位置，以确保它们被路由到您的第二个分区。

推荐阅读