时间戳

首页 > 解决方案 > 如何在 C# 中为泛型类型创建 Avro 模式？

c# - 如何在 C# 中为泛型类型创建 Avro 模式？

问题描述

我正在使用 Kafka 和Confluent 的 .NET client开发一个 .NET Standard pub/sub 包。我的制作人有以下界面。

IEventPublisher.cs

public interface IEventPublisher<T>
{
    bool Publish(Event<T> evnt);
}

我的KafkaEventPublisher<T>类实现了这个接口，并且正在发布的有效负载 T 被包装在一个Event<T>信封中。

事件.cs

public class Event<T>
{
    // Some other properties 

    public T Payload { get; set; }
}

我的组件的初始实现不使用 Avro 序列化程序或模式注册表。它Event<T>使用 JSON序列化Newtonsoft.Json并将字符串生成到 Kafka 主题。这样做的好处是有效负载实际上可以是任何对象。主题名称是对象的完全限定类名称，因此主题保证是同质的。缺点是有效载荷对 Kafka 是不透明的。

我现在正在从转换Newtonsoft.Json为 Avro 和模式注册表。这似乎表明我的模型不再是任何东西了。必须专门编写它们以允许通过实现ISpecificRecord接口进行 Avro 序列化。如果这是真的，那并不理想，但我可以忍受。

我似乎无法弄清楚的问题是如何将Event<T>信封合并到 Avro 模式中。有没有办法将一个模式嵌套在另一个模式中？我所有的具体模式都应该定义Event<T>信封吗？改用并尝试在运行时使用反射自动生成模式是否明智，GenericRecord这样我的组件就可以返回接受字面上的任何对象作为有效负载？

标签： c#.netapache-kafkaavroconfluent-platform

解决方案

也许有一种更优雅的方式，但在每个模式中包含正确的东西应该可以解决问题。也许您想以编程方式执行此操作以确保一致性。

一般来说，所有工作都可能很好，除非您发现自己试图检查每条消息并为每条单独的消息定义架构。这可能是可能的，但肯定不会是高性能/可取的。

推荐阅读