cassandra - Datastax DSBulk 实用程序在将 CSV 数据加载到 Astra 时出现错误

我正在使用 DSBulk 实用程序将数据从 EC2 Cassandra 节点迁移到 DataStax Astra（高级帐户）。

使用的命令： dsbulk load -url folder_created_during_unload -header true -k keyspace -t table -b "secure-connect-file.zip" -u username -p password

该命令在几秒钟后给出错误。在检查文档时，我发现我可以添加--executor.maxPerSecond这个命令来限制加载。

在此之后，加载命令执行没有任何错误。但是如果我输入一个超过 15,000 的值，加载命令会再次开始给出错误。

现在，如果一个表有超过 100M 的条目，并且每秒迁移 15,000 个条目，那么完成一个表的迁移需要数小时和数小时。迁移完整的数据库需要几天时间。

我想了解导致此错误的原因以及是否有办法以更高的速度加载数据。

标签： cassandradatastax-astra

这里发生的是 DSBulk 正在达到数据库的速率限制。目前，似乎增加该速率限制的唯一方法是提交支持请求。

要提交工单，请查找 Astra 仪表板左侧导航的“其他资源”部分。点击底部的“获取支持”。

弹出“帮助中心”后，点击右下角的“创建请求”。

在下一页上，单击右上角的绿色/青色“提交工单”按钮。描述您遇到的问题（速率限制）以及设置为超过 15k/秒时 DSBulk 输出的内容。