java - Solace 源连接器“tasks.max”如何连接到队列?
问题描述
我们正在实现一个 Kafka 主题,它是一个 3 机器集群。我们将退出一个 Solace 队列,并且想知道该tasks.max
参数的作用以及它如何划分消息。我们无权访问安慰队列,只能调用并查看我们是否正在从缓冲区中删除消息。任何见解都会很棒!hornetQ 中的当前系统,它正在运行 5 个线程。
环境:
- 分布式模式
- 1 个主题
- 3个副本
- 每台机器 5 个分区
Solace-kafka-connector-source-master
我们已经通过单个任务独立尝试过它并且它可以工作。由于我们不控制安慰队列,因此我们可以查看是否正在丢弃消息。
{
"name": "solaceSourceConnector",
"config": {
"connector.class":
"com.solace.source.connector.SolaceSourceConnector",
"tasks.max": "1",
"kafka.topic": "solacetest",
"sol.host": "HOSTNAME",
"sol.username": "USERNAME",
"sol.password": "PASSWORD",
"sol.vpn_name": "VPN IP",
"sol.topics": "soltest, soltest1,solacetest2",
"sol.queue": "testQ",
"sol.message_processor_class": "com.solace.source.connector.msgProcessors.SolaceSampleKeyedMessageProcessor",
"sol.generate_send_timestamps": "true",
"sol.generate_rcv_timestamps": "true",
"sol.sub_ack_window_size": "255",
"sol.generate_sequence_numbers": "true",
"sol.calculate_message_expiration": "true",
"sol.subscriber_dto_override": "true",
"sol.channel_properties.connect_retries": "-1",
"sol.channel_properties.reconnect_retries": "-1",
"sol.kafka_message_key": "DESTINATION",
"sol.ssl_trust_store": "/opt/PKI/skeltonCA/heinz1.ts",
"sol.ssl_trust_store_pasword": "sasquatch",
"sol.ssl_trust_store_format": "JKS",
"sol.ssl_key_store": "/opt/PKI/skeltonCA/heinz1.ks",
"sol.ssl_key_store_password": "sasquatch",
"sol.ssl_key_store_format": "JKS",
"sol.ssl_key_store_normalized_format": "JKS",
"sol.ssl_private_key_alias": "heinz1",
"sol.ssl_private_key_password": "sasquatch"
}
}
我正在努力做到这一点,这样我们就不会在缓冲区中丢失消息。
解决方案
max.tasks 1 将与独占队列一起使用,因为这种 Solace 队列只能有一个活动订阅者。它还将保证从 Solace 到 Kafka 的消息顺序被保留。
如果 Solace 队列是非独占(即共享)队列,那么增加 max.tasks 将定义从队列中消费的并发 Solace 客户端数量的上限。这允许使用队列中的多个消费者进行水平扩展,以获得更好的吞吐量。但是,Solace 不保证非独占队列的多个消费者之间的消息顺序,因此可能不会保留消息顺序。
在任何一种情况下,消息都不会丢失,因为它们没有被确认回 Solace 并被删除,直到它们成功确认已写入 Kafka。
推荐阅读
- reactjs - Spring boot 和 React js 中的 CORS 错误策略
- python - 如何在 tkinter 中为多个 OptionMenu 添加标题?
- flutter - flutter pub run build_runner build 时出错
- javascript - React - 向下传递状态
- javascript - 警告:validateDOMNesting(...): 不能作为子级出现在 React.js 中
- c++ - 安装 k-medoids 库 - 找不到 mpi.h
- spring-boot - UnsatisfiedDependencyException:创建名为“employeeController”的bean时出错:通过字段“repository”表达的不满足依赖关系
- flutter - 我可以用什么包装 ListView。建设者在?
- bitbucket-pipelines - atlassian/scp-deploy 在 bitbucket 部署管道上从 SCP 中排除文件夹的问题
- r - R 包 dplyr 中的主要功能对我不起作用