我在awss3上有一个配置单元表，其中包含144个csv格式的文件（每个文件20m），总大小为3g；
当我用sparksql执行sql时，下载字节的开销是10-15g（每次都不一样，由aws服务计算），比配置单元表的大小要大得多；但当我在配置单元客户端上通过配置单元执行相同的sql时，下载的字节数等于s3上的配置单元表大小；
sql很简单，比如“select count（1）from#table#”；
从spark ui stages标签来看，几乎有2k+任务，比spark rdd read execution大得多；所以一个文件被多个任务访问？
任何帮助都将不胜感激！
1条答案
按热度按时间6rqinv9w1#
这是因为spark会将一个文件分割成多个分区（每个分区引用一个任务），即使文件大小小于block.size（64m或128m）；
因此，为了减少Map任务数量，可以减少conf'mapreduce.job.maps'（默认值为2，适用于csv格式，但不适用于orc格式，在my mapred site.xml中更改为80）；