首页 > 解决方案 > 在 2 个 CentOS 8 vagrant box 之间设置 PostgreSQL 13 日志传送复制,

问题描述

我一直在尝试在 2 个 CentOS 8 vagrant box 之间设置日志传送复制,但是我有两个问题我似乎无法找到答案:

1.,我按照pgsql官方文档在master上设置了连续归档,但是它没有归档任何wal文件,即使pg_wal目录中有一些文件,它们的归档状态是ready。它检查了日志,它似乎确实试图归档它们,但总是有一个错误。

这是 'scp %p vagrant@10.0.0.201:/test/%f' 的错误:

scp:/test/000000010000000000000001:没有这样的文件或目录 2021-01-21 16:52:05.851 UTC [4635] 日志:归档命令失败,退出代码为 1 2021-01-21 16:52:05.851 UTC [4635] 详细信息:失败的存档命令是:scp pg_wal/000000010000000000000001 vagrant@10.0.0.201:/test/000000010000000000000001

这是 'cp %p /test/%f' 的错误:

cp:无法创建常规文件'/test/000000010000000000000001':没有这样的文件或目录 2021-01-21 16:52:09.415 UTC [5862] 日志:归档命令失败,退出代码为 1 2021-01-21 16:52: 09.415 UTC [5862] 详细信息:失败的存档命令是:cp pg_wal/000000010000000000000001 /test/000000010000000000000001

在第一个示例中,我尝试将 wal 文件 scp 到我的备用服务器,而在第二个示例中,我只是尝试将它们 cp 到我在/var/lib/pgsql/13/data folder. 我检查过ls -la,postgres 应该有权在文件夹中写入:drwxr-xr-x. 2 postgres postgres. 我也尝试过其他 archive_commands,比如文档中的那个:'test ! -f /mnt/server/archivedir/%f && cp %p /mnt/server/archivedir/%f',它记录了与上面的 cp 相同的错误。

我还检查了存档器,select * from pg_stat_archiver;但它只是表明存档失败了很多次

这是我的 posgresql.conf 设置:

listen_addresses = '*'
max_connections = 100
password_encryption = scram-sha-256
shared_buffers = 128MB
dynamic_shared_memory_type = posix
wal_level = replica
max_wal_size = 1GB
min_wal_size = 80MB
archive_mode = on
archive_command = '' #as mentioned above
archive_timeout = 60
log_destination = 'stderr'
logging_collector = on
log_directory = 'log' 
log_filename = 'postgresql-%a.log' 
log_truncate_on_rotation = on 
log_rotation_age = 1d
log_rotation_size = 0
log_line_prefix = '%m [%p] '
log_timezone = 'UTC' 
datestyle = 'iso, mdy'  
timezone = 'UTC' 
lc_messages = 'en_US.UTF-8' 
lc_monetary = 'en_US.UTF-8'
lc_numeric = 'en_US.UTF-8'
lc_time = 'en_US.UTF-8'
default_text_search_config = 'pg_catalog.english'  

我还更改了 pg_hba.conf 以允许主机连接到数据库,因此我也会将其包括在内以防万一:

# TYPE  DATABASE        USER            ADDRESS                 METHOD
local   all             all                                     peer
host    all             all             0.0.0.0/0            trust
host    all             all             ::1/128                 scram-sha-256
local   replication     all                                     peer
host    replication     all             127.0.0.1/32            scram-sha-256                                                                                                      host    replication     all             ::1/128                 scram-sha-256

2.,我的另一个问题与linux有关,或者可能是流浪汉。由于我正在尝试设置日志传送,因此我需要将 wal 存档放在备用可以读取文件的位置,这就是我尝试 scp 文件的原因。我用 ssh-keygen 为 vagrant 生成了 ssh 密钥对,这是我 ssh 进入 box 和 postgres 时的默认用户,然后将两个公钥添加到 vagrant( /home/vagrant/.ssh) 和 postgres( /var/lib/pgsql/.ssh) 用户的 authorized_keys 列表中。问题是,虽然我可以使用来自主服务器的两个用户 ssh 进入备用服务器上的 vagrant 用户,但当我尝试使用 ssh 进入 postgres 用户时,它会说postgres@10.0.0.201: Permission denied (publickey,gssapi-keyex,gssapi-with-mic).

我已经尝试使用命令检查问题可能是什么,ssh -v postgres@10.0.0.201并且它运行良好,直到服务器应该接受密钥:

debug1: Offering public key: /home/vagrant/.ssh/id_rsa RSA SHA256:DgndkBcWnrG7q0VkLNUA+hjsHGO+HWyUQRTrffl8NWg
debug1: Authentications that can continue: publickey,gssapi-keyex,gssapi-with-mic
debug1: Trying private key: /home/vagrant/.ssh/id_dsa
debug1: Trying private key: /home/vagrant/.ssh/id_ecdsa
debug1: Trying private key: /home/vagrant/.ssh/id_ed25519
debug1: Trying private key: /home/vagrant/.ssh/id_xmss
debug1: No more authentication methods to try.
postgres@10.0.0.201: Permission denied (publickey,gssapi-keyex,gssapi-with-mic).

我的问题是为什么会这样,如果我什至需要 ssh 进入 postgres 用户,或者我可以简单地将它保存在 vagrant 用户的某个地方,并使该文件夹可以以某种方式读取给 postgres 用户(我已经阅读过可能使用 shared文件夹,但我还没有找到任何关于如何做到这一点的好的指南)。

以下是 vagrantfiles,以备不时之需:

基本的:

Vagrant.configure("2") do |config|

    config.vm.box = "generic/centos8"
    config.vm.hostname = "pgsrv1"
    config.vm.provider "virtualbox" do |vb|
      vb.name = "pgsrv1"
      vb.memory = "1024"
    end
    config.vm.network :forwarded_port, host: 5432, guest: 5432
    config.vm.network "private_network", ip: "10.0.0.200"
end

支持:

Vagrant.configure("2") do |config|
    config.vm.box = "centos8/standby"
    #config.vm.box_url = "/vagrant/centos8_standby/package.box"
    config.vm.hostname = "pgsrv2"
    config.vm.provider "virtualbox" do |vb|
      vb.name = "pgsrv2"
      vb.memory = "1024"
    end
    config.vm.network :forwarded_port, host: 5434, guest: 5432
    config.vm.network "private_network", ip: "10.0.0.201"
end

抱歉,如果他们真的是菜鸟问题,但我对 linux 和 vagrant 还很陌生,而且我已经被困在这 2 周了,我在网上找到的任何东西似乎都没有用。

编辑:

我制作了一个全新的 vagrantfile 并在设置后复制了它,vagrant package现在归档命令可以正常工作(仍然不知道原始盒子上的问题是什么)。

但是我再次配置了 ssh,它仍然是一样的,我可以轻松地 ssh 进入 vagrant 用户,所以我能够使用archive_command scp wal 文件,但仍然不能 ssh 进入 postgres。

所以现在我唯一的问题仍然是,如果有人知道为什么我不能 ssh 进入 postgres,或者是否有一个简单的解决方法,比如让我 scp wals 的文件夹以某种方式对 postgres 用户可读。

编辑1:

事实证明,这是 selinux 做了一些神奇的事情,一些配置允许 ssh conns 到 vagrant 用户而不是 postgres,所以通过关闭它解决了这个问题:)。

标签: postgresqlsshvagrantcentos8log-shipping

解决方案


推荐阅读