matlab 用于非常大的数据的直方图

wko9yo5t 于 2022-11-15 发布在 Matlab

关注(0)|答案(1)|浏览(151)

我有非常大的数据(1 X 23750811)。我想在直方图中可视化这些数据--MatLab。
由于数据量非常大，我的曲线图中只有一个点。但我可以将它们分开，前四分之一的数据等等。
任何一次将所有数据可视化到单个曲线图中的建议。
谢啦！

1条答案

将所有数据加载到MatLab中效率很低；您可以尝试使用DuckDB；它允许您使用SQL以CSV或Parquet等多种格式查询非常大的数据集；您可以预先计算垃圾箱和高度，然后导出它们并使用MATLAB绘制它们。
以下是您可以使用的代码片段：

select
  floor(column/bin_size)*bin_size,
  count(*) as count
from "path/to/file.csv"
group by 1
order by 1;

或者，您可以尝试对数据进行采样。