在使用hadoop导入现有表中的新数据时遇到问题

qvk1mo1f  于 2021-06-01  发布在  Hadoop
关注(0)|答案(1)|浏览(247)

当我在现有表中加载新数据,然后 select count(1) 为了得到加载的总行数,我只得到一个hdfs文件的计数。

行数仅表示一个hdfs文件的数量。
要导入“新数据”,请单击此处:

另外,这里是mysql中的总计数:

以及hadoop中的总计数:

顺便说一下,这里是文件浏览器:

你知道我做错了什么吗?
当做!

b4lqfgs4

b4lqfgs41#

试试这个:

invalidate metadata default.movie;

很可能您使用impala作为检索数据的引擎,这个命令是重新加载元数据。
默认情况下,刷新所有表的缓存元数据。如果指定表名,则仅刷新该表的元数据。即使对于单个表,无效元数据也比刷新昂贵,因此在为现有表添加新数据文件的常见情况下,首选刷新。
如果你想更进一步,看看这个。

相关问题