我们可以在apache pinot集群之外创建片段。那很好。但我不明白它是如何将数据段从深度存储上传到离线服务器的。例如，我将段写入hdfs。然后我称之为“推送作业”。如果我没有理解错，segmentarpushjob从deepstorage（s3）下载创建的段，然后通过restapi将段上传到控制器，控制器将段发送到离线服务器。在将段发送到控制器时，这个过程不会产生瓶颈吗？如果离线服务器直接从深度存储下载数据段，会发生什么情况？
ijnw1ujt1#
下面是一段视频，解释apache pinot脱机表中段分配的详细信息：https://youtu.be/hycnrczkrjg 它演示了将段上载到deep store时发生的步骤：控制器通知->段分配计算->服务器下载段。
uoifb46i2#
有两种方法可以将数据推送到pinot控制器基于uri：在这种模式下，调用者只提供段uri和段元数据。如果没有提供段元数据，控制器将获取段并提取元数据。控制器需要元数据进行验证。在这种模式下，服务器将直接从deepstore中提取片段基于有效负载：在这种模式下，调用者将段tarball作为有效负载发送，控制器将此段tarball存储在其datadir中（也可以是nfs或deep store）。控制器更新zookeeper中的段元数据以指示段的位置。服务器使用元数据中的位置来获取段
2条答案
按热度按时间ijnw1ujt1#
下面是一段视频，解释apache pinot脱机表中段分配的详细信息：https://youtu.be/hycnrczkrjg 它演示了将段上载到deep store时发生的步骤：控制器通知->段分配计算->服务器下载段。
uoifb46i2#
有两种方法可以将数据推送到pinot控制器
基于uri：在这种模式下，调用者只提供段uri和段元数据。如果没有提供段元数据，控制器将获取段并提取元数据。控制器需要元数据进行验证。在这种模式下，服务器将直接从deepstore中提取片段
基于有效负载：在这种模式下，调用者将段tarball作为有效负载发送，控制器将此段tarball存储在其datadir中（也可以是nfs或deep store）。控制器更新zookeeper中的段元数据以指示段的位置。服务器使用元数据中的位置来获取段