如何处理一个巨大的稀疏矩阵?

nimxete2  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(517)

有人给我指出正确的方向。我想做一些非常大的,往往非常稀疏矩阵一些重型操作,我正在寻找合适的工具的工作。这些矩阵将比任何一台机器的ram大得多,因此可能会扩展到几个不同的机器。矩阵通常是稀疏的。我将要执行所有常见的矩阵运算:乘法、转置、求逆、伪逆、奇异值分解、特征值分解等。我关注的关键可能是,由于矩阵很可能会分布在多台机器上,因此我希望尽量减少信息共享,因为网络延迟可能是我最大的敌人。我担心map reduce(lahadoop)不是正确的选择,因为它的重点是在机器之间传输大量数据。这本书提供了一个伟大的介绍Map减少从算法的Angular 。许多矩阵运算类似于巨型连接运算,它们被认为是慢的或Map减少的。
所以。。。我该去哪里?

nue99wik

nue99wik1#

本文介绍:设计基于hadoop的大规模矩阵计算,可以帮助您对实现指南有所帮助。hbase用于存储稀疏表,因此hbase可能是矩阵的推荐存储选项。

相关问题