go - golang中的TCPListener：连接数高于60 / 260时出错

Question

我正在构建 TCP 代理：client<-> proxy<->Vertica
我有一个net.TCPListener，它接受传入的请求AcceptTCP()并创建连接，然后通过net.DialTCP("tcp", nil, raddr). 看起来像一座桥。默认代理模型。

首先，在第一个版本中，我遇到了一个问题：如果我有 59 个并行传入请求，一切都很好。但是如果我还有一个（60），我就有麻烦了：1-59 连接是好的，但是 60 和更新的连接是错误的。我无法正确捕获错误。看起来某些套接字意外关闭

其次，我尝试为侦听器设置队列。它对我有很大帮助：但如果我有超过 258 个请求，我会再次出错。

net我的问题：包中的连接有限制吗？可能是系统限制？

外部信息：Vertica 在 docker 容器中运行，硬件/系统：macbook，vertica 限制连接池：5，但池逻辑实现到代理中。我还尝试设置没有池逻辑的“原始”代理（这就是我为侦听器设置队列的原因：我不能超过 Vertica 用户池的阈值），结果是 258 个请求。

更新：（05.04.2020）
看起来是系统限制故障。我有没有提到我试图在一台 PC 上运行整个系统的任何地方？
所以，我有什么：

• 300 个并行进程作为请求（由 multiprocessing.Pool Python 制作）（300 个套接字）
• 创建 300 个连接的侦听器（再一次创建 300 个套接字）
• 以及代理深处的一系列快速创建/关闭套接字（根据队列和 Vertica 池）

我现在拥有的：

• 从我的本地网络中的另一台 PC 发出 300 个 python 请求（在 Windows 上）
• 代理工作正常
• 但是我在 Windows PC 上有几个错误，它们向我的代理创建请求。“交换文件”中的内存不足等错误。

我仍然需要对代理进行一些压力测试。为交换文件添加更少的内存并没有解决我在 Windows PC 上的问题。我将不胜感激任何建议和想法。谢谢！

标签： goconnectionconnection-poolingpoolvertica

Answer 1

代理如何连接到 Vertica？默认情况下，任何时候最多有 50 个普通普通用户可以连接到一个 Vertica 节点。除此之外，超级用户“dbadmin”总是有 5 个连接。

因此，如果我尝试以 dbadmin 身份连接 60 次，我会在默认 Vertica 配置中获得此信息：

Connection attempt failed: FATAL 4060:  New session rejected due to limit, already 55 sessions active

您可以将 Vertica 配置项MaxClientSessions从每个节点的默认值 50 增加。

ALTER NODE <_node_name_> SET MaxClientSessions = 100例如，命令是 : 。

我想您总是连接到同一个 Vertica 节点，并且您已设置ConnectionLoadBalancing为FALSE. 所以你总是连接到同一个节点，很快就会达到默认的最大值 50。

希望这是找到的原因....