我们尝试使用s3作为flink后端状态和检查点，并在frankfurt中使用了一个bucket（v4身份验证），它给出了我在这里发布的错误（无法使用hadoop访问s3 bucket），这是由于hadoop造成的。不过，hadoop2.8.0可以工作，但还没有flink支持。我想我的问题是flink什么时候会提供一个基于Hadoop2.8.0的版本？
zengzsys1#
一旦hadoop版本发布，flink可能会提供hadoop2.8.0版本。同时，您可以使用自定义hadoop版本构建flink： mvn clean install -DskipTests -Dhadoop.version=2.8.0
mvn clean install -DskipTests -Dhadoop.version=2.8.0
sqserrrh2#
hadoop2.7.x可以与frankfurt和v4api端点一起工作。如果您遇到问题，请检查joda time版本，因为旧的joda time jar和java版本的奇怪组合会导致aws获取错误格式的时间戳，然后在无处不在的“bad auth”消息中拒绝该时间戳。
2条答案
按热度按时间zengzsys1#
一旦hadoop版本发布，flink可能会提供hadoop2.8.0版本。
同时，您可以使用自定义hadoop版本构建flink：
mvn clean install -DskipTests -Dhadoop.version=2.8.0sqserrrh2#
hadoop2.7.x可以与frankfurt和v4api端点一起工作。如果您遇到问题，请检查joda time版本，因为旧的joda time jar和java版本的奇怪组合会导致aws获取错误格式的时间戳，然后在无处不在的“bad auth”消息中拒绝该时间戳。