ruby-on-rails - Rails + Sneakers:无法从池中获取连接
问题描述
我们在生产中使用 Sneakers gem 进行大型应用程序。有时负载可能非常巨大,以至于一个特定的队列可能包含超过 250_000 条消息。在这种情况下,例外
ActiveRecord::ConnectionTimeoutError:
could not obtain a connection from the pool within 5.000 seconds (waited 5.000 seconds); all pooled connections were in use
定期发生。
对于数据库,我们使用基于 PostgreSQL 9.6 的 Amazon RDS。max_connections
PostgreSQL 配置值为 3296。
我们的database.yml
文件:
production:
adapter: postgresql
encoding: utf8
pool: 40
database: <%= ENV['RDS_DB_NAME'] %>
username: <%= ENV['RDS_USERNAME'] %>
password: <%= ENV['RDS_PASSWORD'] %>
host: <%= ENV['RDS_HOSTNAME'] %>
port: <%= ENV['RDS_PORT'] %>
我想我们可以增加一个pool
值,但我找不到有关如何计算最大可能值的信息,所以它不会破坏任何东西。
此外,使用 Sneakers gem 进行后台处理的应用程序副本单独存在(但使用相同的数据库)并且可以单独配置。但是现在它具有相同的database.yml
配置。运动鞋 gem 配置文件:
production:
heartbeat: 2000
timeout_job_after: 35
exchange_type: :fanout
threads: 4
prefetch: 4
durable: true
ack: true
daemonize: true
retry_max_times: 5
retry_timeout: 2000
workers: 4
我们在基本运行时应用程序中的连接池没有问题,但ActiveRecord::ConnectionTimeoutError
经常发生在工作人员中,这是一个非常大的问题。
所以,请帮我重新配置databese.yml
文件:
pool
如果数据库max_connections
值为 3296 ,如何正确计算选项的最大可能值?pool
将 Sneakers gem 与上述配置一起使用时,如何正确计算选项的最大可能值?- 或者,如果我的配置很好,我该如何避免
ActiveRecord::ConnectionTimeoutError
在工人中?
提前致谢。
解决方案
在等待答案的同时,我一直在寻找解决方案。
而且,我想,我最根本的问题是连接池的大小。
在 Sneakers gem 问题跟踪器上,我找到了一条评论,其中包含用于计算满载时所需连接数的公式。我稍微更改了评论中的代码,所以现在它会根据每个工作人员的个人设置进行计算:
before_fork = -> {
ActiveSupport.on_load(:active_record) do
ActiveRecord::Base.connection_pool.disconnect!
Sneakers.logger.info('Disconnected from ActiveRecord!')
end
}
after_fork = -> {
def count_pool_size
workers = ::Sneakers::Worker::Classes
default_threads_size = ::Sneakers.const_get(:CONFIG)[:threads]
base_pool_size = 3 + workers.size * 3
if Sneakers.const_get(:CONFIG)[:share_threads]
base_pool_size + default_threads_size
else
base_pool_size + connections_per_worker(workers, default_threads_size)
end
end
def connections_per_worker(classes, default)
classes.inject(0) do |sum, worker_class|
sum + (worker_class.queue_opts[:threads] || default)
end
end
def reconfig?
Rails.env.production?
end
ActiveSupport.on_load(:active_record) do
config = Rails.application.config.database_configuration[Rails.env]
config.merge!('pool' => count_pool_size) if reconfig?
ActiveRecord::Base.establish_connection(config)
Sneakers.logger.info("Connected to ActiveRecord! Config: #{config}")
end
}
摘要:对于所有工作人员,我需要在最大负载下限制近 600 个连接。但我只有 40 个。现在,我将使用上面的代码。希望这可以帮助。
推荐阅读
- elasticsearch - 除了在elasticsearch中索引特定字段之外,是否可以保存
- tabulator - 制表器的打印功能输出不包括表格页脚列计算和文本对齐
- http - 如何使用 Dart http 向后端添加数据
- node.js - 带有 $match 的管道不能按照 mongodb 的预期工作
- php - 如何从 laravel 中的两个不同数据库结果中检索匹配数据
- angular - Angular 7 + SignalR:找不到命名空间“SignalR”,因为 tsconfig.app.json 被忽略
- matlab - 光束偏转技术的 FBP matlab 滤波器设计
- python - 如何在 tkinter 窗口中显示视频预览
- vbscript - VBS Application.Outlook 并发使用
- c# - 服务结构 - 更新静态配置文件