hadoop fs分析

jrcvhitl  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(207)

我有以下几点 hadoop fs image 加载到我的 hive table。

CREATE EXTERNAL TABLE hadoop_fs_images(
  Path STRING,
  Replication INT,
  ModificationTime STRING,
  AccessTime STRING,
  PreferredBlockSize INT,
  BlocksCount DOUBLE,
  FileSize DOUBLE,
  NSQUOTA INT,
  DSQUOTA INT,
  Permission STRING,
  UserName STRING,
  GroupName STRING
)

正在使用 hive SQL 我想进行一些分析并收集一些健康指标。例如,收集包含小于 1 MB ,我可以这样运行:

SELECT
    relative_size,
    accesstime,
    path AS total
FROM
    (SELECT
        ( CASE filesize < 1048576
            WHEN true THEN 'small'
            ELSE 'large'
        end ) AS relative_size,
        accesstime,
        path
    FROM
        hadoop_fs_images) tmp
WHERE
    relative_size = 'small'  LIMIT  100;

我如何计算下列各项
增长最快的表
最大的增长表
文件大小和文件分发
空文件夹

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题