我的问题有两部分：

如何使用spark设置（微调）高级orc参数？

各种帖子显示，可能有问题Spark小兽人条纹，如何设置兽人条纹大小在Spark。我目前正在HDP2.6.4平台上使用spark 2.2，因此根据https://community.cloudera.com/t5/support-questions/spark-orc-stripe-size/td-p/189844 这应该已经解决了。但是，我不清楚在执行时如何设置这些参数：

df.write.orc("/path/to/file")

也许这只是一个：

df.write.options(Map("key"-> "value")).orc("/path/to/file")

不过，我也不太清楚我在这里需要哪些钥匙。
注：1.4 native 使用orc版本。

.set("spark.sql.orc.impl", "native")
  .set("spark.sql.hive.convertMetastoreOrc", "true")

选择正确的参数：

我的数据集使用 df.repartition(number, c1,c2,...).sortWithin("c1, c2", "c3", ...) 第二种。排序列的顺序由昂贵（长字符串）列的基数选择。最高的优先。

文件大小

我想把gzip的orc文件写入hdfs。小文件大小的问题是我意识到的，显然是要防止的-但另一个方向呢？例如，如果相应地重新分区，我的一个数据集将生成800mbgzip orc文件（分区内的单个文件）。这800mb已经被认为太大了吗？我应该试着把它们的大小大约定在300mb左右吗？还是400兆？请记住，它们已经被压缩了。

条纹尺寸

目前，我观察到：

java-jar orc-tools meta foo.orc

对于这个文件，spark似乎创建了大约16mb大小的条纹，在这个特殊的例子中是49。
下面是第一个条带的输出示例：

Stripe 1:
    Column 0: count: 3845120 hasNull: false
    Column 1: count: 3845120 hasNull: false min: a max: b sum: 246087680
    Column 2: count: 3845120 hasNull: false min: aa max: bb sum: 30288860
    Column 3: count: 3845120 hasNull: false min: aaa max: bbb sum: 89174415
    Column 4: count: 3845120 hasNull: false
    Column 5: count: 3845120 hasNull: false min: 2019-09-24 00:00:00.0 max: 2019-09-24 23:45:00.0 min UTC: 2019-09-24 02:00:00.0 max UTC: 2019-09-25 01:45:00.0
    Column 6: count: 3845120 hasNull: false min: 2019-09-24 00:15:00.0 max: 2019-09-25 00:00:00.0 min UTC: 2019-09-24 02:15:00.0 max UTC: 2019-09-25 02:00:00.0
    Column 7: count: 3845120 hasNull: false min: 1 max: 36680 sum: 36262602

在列出所有条带后的详细输出中（同样对于第一条带）：

Stripes:
  Stripe: offset: 3 data: 17106250 rows: 3845120 tail: 185 index: 51578
    Stream: column 0 section ROW_INDEX start: 3 length 55
    Stream: column 1 section ROW_INDEX start: 58 length 21324
    Stream: column 2 section ROW_INDEX start: 21382 length 3944
    Stream: column 3 section ROW_INDEX start: 25326 length 12157
    Stream: column 4 section ROW_INDEX start: 37483 length 55
    Stream: column 5 section ROW_INDEX start: 37538 length 4581
    Stream: column 6 section ROW_INDEX start: 42119 length 4581
    Stream: column 7 section ROW_INDEX start: 46700 length 4881
    Stream: column 1 section DATA start: 51581 length 57693
    Stream: column 1 section LENGTH start: 109274 length 16
    Stream: column 1 section DICTIONARY_DATA start: 109290 length 623365
    Stream: column 2 section DATA start: 732655 length 447898
    Stream: column 2 section LENGTH start: 1180553 length 148
    Stream: column 2 section DICTIONARY_DATA start: 1180701 length 968
    Stream: column 3 section DATA start: 1181669 length 2449521
    Stream: column 3 section LENGTH start: 3631190 length 6138
    Stream: column 3 section DICTIONARY_DATA start: 3637328 length 303255
    Stream: column 5 section DATA start: 3940583 length 5329298
    Stream: column 5 section SECONDARY start: 9269881 length 172
    Stream: column 6 section DATA start: 9270053 length 5334123
    Stream: column 6 section SECONDARY start: 14604176 length 172
    Stream: column 7 section DATA start: 14604348 length 2553483
    Encoding column 0: DIRECT
    Encoding column 1: DICTIONARY_V2[16914]
    Encoding column 2: DICTIONARY_V2[214]
    Encoding column 3: DICTIONARY_V2[72863]
    Encoding column 4: DIRECT
    Encoding column 5: DIRECT_V2
    Encoding column 6: DIRECT_V2
    Encoding column 7: DIRECT_V2

这里推荐什么？配置单元默认值似乎提到了256mb，但这似乎是一个与spark计算的值完全不同的值范围。这里的理由是什么？
那么为什么：

spark.conf.get("orc.dictionary.key.threshold")
java.util.NoSuchElementException: orc.dictionary.key.threshold

即使可以清楚地看到字典是如何设置的，也会失败吗？查看spark的代码库，我无法识别在任何地方设置的这个属性https://github.com/apache/spark/search?q=orc.dictionary.key.threshold&unscoped_q=orc.dictionary.key.threshold

兽人糖果

orc的最新版本引入了bloom过滤器和索引。这些也可以用Spark吗？

其他调整提示

请与我分享任何其他调整技巧。