我最近无意中听到一个对话，有人说hdfs文件不能修改。听到这个消息我很惊讶，因为我认为所有的文件操作包括更新都是受支持的。现在我知道hdfs是为流媒体优化的，但是这与权限有关，还是严格不允许修改？n、 b.我指的是修改，而不是将数据附加到现有文件中。
7eumitmz1#
hdfs是一个只附加的文件系统。要“更新”文件，需要收集文件的所有块，重写其内容，然后更新所有块位置hdfs也没有针对流媒体进行优化。这就是为什么像kafka、storm、spark、flink、samza、nifi等框架都存在的原因。它们与hadoop集成，但将小批量文件流式传输到hdfs中并不是它优化的目标。我不知道我是否理解关于权限的评论，但是这些权限是由namenodeacl或外部系统（如ranger或sentry）控制的。相反，如果您指的是配置单元表上的acid事务，那么通常在这里使用短语“crud操作”。
1条答案
按热度按时间7eumitmz1#
hdfs是一个只附加的文件系统。要“更新”文件，需要收集文件的所有块，重写其内容，然后更新所有块位置
hdfs也没有针对流媒体进行优化。这就是为什么像kafka、storm、spark、flink、samza、nifi等框架都存在的原因。它们与hadoop集成，但将小批量文件流式传输到hdfs中并不是它优化的目标。
我不知道我是否理解关于权限的评论，但是这些权限是由namenodeacl或外部系统（如ranger或sentry）控制的。
相反，如果您指的是配置单元表上的acid事务，那么通常在这里使用短语“crud操作”。