我们有一个在spark和oracledb上编程的系统。我的系统的瓶颈是当worker在db中插入或更新时,worker的一些执行器出现超时错误。我们有6个工人,其中有64g内存和8核。执行次数等于辅助进程的核心数,每个执行者运行一个任务。oracle数据库有16个内核和96g内存。我们认为我们的spark cluster比db系统更大,可以插入或更新大数据(每个执行者可能同时插入或更新7g数据),是真的吗?另一个问题是像cassandra这样的分布式数据库可以解决这个瓶颈吗?
我们有一个在spark和oracledb上编程的系统。我的系统的瓶颈是当worker在db中插入或更新时,worker的一些执行器出现超时错误。我们有6个工人,其中有64g内存和8核。执行次数等于辅助进程的核心数,每个执行者运行一个任务。oracle数据库有16个内核和96g内存。我们认为我们的spark cluster比db系统更大,可以插入或更新大数据(每个执行者可能同时插入或更新7g数据),是真的吗?另一个问题是像cassandra这样的分布式数据库可以解决这个瓶颈吗?
暂无答案!
目前还没有任何答案,快来回答吧!