couchdb - 批量插入 Hyperledger Fabric 会导致超时
问题描述
我们正在将记录批量插入 Hyperledger Fabric。但是,我们遇到了超时问题。即使我们不断增加超时,我们也会在稍后发生这个错误。
每个事务在循环中使用所有这些记录插入 1000 条PutState
记录(盲插入,读取集中没有任何内容)。我们还将 BatchTimeout 增加到 3 秒,将 MaxMessageCount 增加到 100,以便我们获得更大的块(我们看到每个块有 4 个事务,因此每个块都有 4000 个 [4x1000 个记录每个事务] 记录被插入到分类帐中)。
当 CouchDB 的 bulk_update 失败并且对等方必须分别重试每个(每个事务的 1000 条记录中的)记录时,查询花费的时间太长并且超过了超时。但这是我们的假设。我们还发现了这个:https ://jira.hyperledger.org/browse/FAB-10558 ,但它说它已经在 v1.2.0 中修复,这是我们正在使用的版本。
我们得到的错误net/http: request canceled (Client.Timeout exceeded while reading body)
来自以下日志:
我们尝试在对等容器中设置以下环境变量:
CORE_CHAINCODE_EXECUTETIMEOUT=120s
并且req.setProposalWaitTime(120 * 1000)
在使用 Java SDK 时也是如此。
但是,我们稍后会得到相同的超时错误。所以我们可以继续将超时变量增加到更大的数字,但我们相信它会在以后再次发生。插入 CouchDB 所需的时间是否与 CouchDB 中的记录数成正比?当文档数量增加时,更新索引可能需要更多时间?
我们得到的运行时错误日志(插入了大约 2-4 百万条记录后)如下:
October 5th 2018, 04:36:38.646 github.com/hyperledger/fabric/core/committer.(*LedgerCommitter).CommitWithPvtData(0xc4222db8c0, 0xc451e4f470, 0xc4312ddd40, 0xdf8475800)
October 5th 2018, 04:36:38.646 github.com/hyperledger/fabric/gossip/state.(*GossipStateProviderImpl).deliverPayloads(0xc4220c5a00)
October 5th 2018, 04:36:38.646 goroutine 283 [running]:
October 5th 2018, 04:36:38.646 /opt/gopath/src/github.com/hyperledger/fabric/core/committer/committer_impl.go:105 +0x6b
October 5th 2018, 04:36:38.646 /opt/gopath/src/github.com/hyperledger/fabric/gossip/privdata/coordinator.go:236 +0xc3b
October 5th 2018, 04:36:38.646 /opt/gopath/src/github.com/hyperledger/fabric/gossip/state/state.go:771 +0x6c
October 5th 2018, 04:36:38.646
October 5th 2018, 04:36:38.646 github.com/hyperledger/fabric/core/ledger/kvledger.(*kvLedger).CommitWithPvtData(0xc421fb1860, 0xc451e4f470, 0x0, 0x0)
October 5th 2018, 04:36:38.646 github.com/hyperledger/fabric/gossip/privdata.(*coordinator).StoreBlock(0xc422286e60, 0xc42462cd80, 0x0, 0x0, 0x0, 0xc4312dde78, 0x7329db)
October 5th 2018, 04:36:38.646 github.com/hyperledger/fabric/gossip/state.(*GossipStateProviderImpl).commitBlock(0xc4220c5a00, 0xc42462cd80, 0x0, 0x0, 0x0, 0x0, 0x0)
October 5th 2018, 04:36:38.646 panic: Error during commit to txmgr:net/http: request canceled (Client.Timeout exceeded while reading body)
October 5th 2018, 04:36:38.646 /opt/gopath/src/github.com/hyperledger/fabric/core/ledger/kvledger/kv_ledger.go:273 +0x870
October 5th 2018, 04:36:38.646 /opt/gopath/src/github.com/hyperledger/fabric/gossip/state/state.go:558 +0x3c5
October 5th 2018, 04:36:38.646 /opt/gopath/src/github.com/hyperledger/fabric/gossip/state/state.go:239 +0x681
October 5th 2018, 04:36:38.646 created by github.com/hyperledger/fabric/gossip/state.NewGossipStateProvider
October 5th 2018, 04:36:03.645 2018-10-04 20:36:00.783 UTC [kvledger] CommitWithPvtData -> INFO 466e[0m Channel [mychannel]: Committed block [1719] with 4 transaction(s)
October 5th 2018, 04:35:56.644 [33m2018-10-04 20:35:55.807 UTC [statecouchdb] commitUpdates -> WARN 465c[0m CouchDB batch document update encountered an problem. Retrying update for document ID:32216027-da66-4ecd-91a1-a37bdf47f07d
October 5th 2018, 04:35:56.644 [33m2018-10-04 20:35:55.866 UTC [statecouchdb] commitUpdates -> WARN 4663[0m CouchDB batch document update encountered an problem. Retrying update for document ID:6eaed2ae-e5c4-48b1-b063-20eb3009969b
October 5th 2018, 04:35:56.644 [33m2018-10-04 20:35:55.870 UTC [statecouchdb] commitUpdates -> WARN 4664[0m CouchDB batch document update encountered an problem. Retrying update for document ID:2ca2fbcc-e78f-4ed0-be70-2c4d7ecbee69
October 5th 2018, 04:35:56.644 [33m2018-10-04 20:35:55.904 UTC [statecouchdb] commitUpdates -> WARN 4667[0m CouchDB batch document update encountered an problem. ... and so on
解决方案
[33m2018-10-04 20:35:55.870 UTC [statecouchdb] commitUpdates -> WARN 4664[0m CouchDB batch document update encountered an problem. Retrying update for document ID:2ca2fbcc-e78f-4ed0-be70-2c4d7ecbee69
以上表明POST http://localhost:5984/db/_bulk_docks
失败,因此单独尝试了各个文件。
查看可配置的不同参数,在分类帐部分requestTimeout
下增加可能值得一试。
这可以通过在对等容器的 docker-compose 中设置以下环境变量来完成:
CORE_LEDGER_STATE_COUCHDBCONFIG_REQUESTTIMEOUT=100s
与配置参数关联的环境变量的名称可以通过查看此答案得出。
配置CORE_CHAINCODE_EXECUTETIMEOUT
并且proposalWaitime
可能没有效果,因为下游的一些其他连接(这里是peer和couchdb之间的 http 连接)正在超时,然后超时异常被传播。
推荐阅读
- winforms - 如何更改数据表中现有行的列参数?
- angular - 在Angular中路由到子元素时隐藏父元素
- qt - 如何访问 DelegateModel 委托中的部分属性
- sql-server - 在同一台 CENTOS 7 机器上安装两个版本的 MSSQL SQL Server 2017 和 SQL Server 2019
- reactjs - react 即使在删除后它仍然处于检查状态
- android - 无法显示第二个视图。可能隐藏在第一视图下?
- android - 在 gradle 构建期间检索 AWS 数据
- ajax - Ajax laravel 不在控制台中返回单条记录,但在 html 中没有返回所有数据
- google-bigquery - 使用 Cloud Deployment Manager 创建 BigQuery 物化视图
- visual-studio-code - 在 Visual Studio Code 中设置全局环境变量