oracle - 超时火花工人任务的oracle瓶颈
问题描述
我们在 spark 和 oracle DB 上有一个系统编程。我系统的瓶颈是当工作人员在数据库中插入或更新时，一些工作人员的执行者会出现超时错误。我们有 6 名工人，拥有 64G RAM 和 8 个内核。执行的数量等于worker的核心，每个执行者运行一个任务。oracle DB 有 16 个内核和 96G RAM。我们认为我们的 Spark 集群比 DB 系统更大，并且为大数据插入或更新（每个执行器可能同时插入或更新 7G 数据）是真的吗？另一个问题是像 Cassandra 这样的分布式数据库是解决这个瓶颈的方法吗？
解决方案
推荐阅读
- string - Powershell删除重复行与其他行相同
- c# - 如何检查出令牌将在 DateTimeOffset.Now 5 分钟之前过期
- c++ - 使用类模板创建动态数组时，将“const”作为“this”参数传递会丢弃限定符
- javascript - 如何获取声明为字符串/数字/日期函数的对象字段类型？
- sql - 使用 group by 子句获取每个组中的所有记录
- python-3.x - 如何从蒙版中绘制正确形状的多边形？
- python - 在 kivy 游戏中创建多个敌人
- python-3.x - 漏洞？在 PyQt5 中为 QStandardItemModel 实现 rowCount() 有奇怪的效果
- jenkins - Jenkins Job 将文件从 GIT 复制到 Windows 主机
- python - 使用请求将商品添加到购物车 (Python)