我必须使用Spark从HDFS加载一个CSV文件到DataFrame。我想知道是否有一个“性能”的改善（查询速度）从一个 Dataframe 支持的CSV文件与一个支持的parquet文件？
通常，我会将如下所示的CSV文件加载到数据框中。

val df1 = sqlContext.read
     .format("com.databricks.spark.csv")
     .option("header", "true")
     .option("inferSchema", "true")
     .load

（“hdfs：//box/path/to/file.csv”）
另一方面，加载一个parquet文件（假设我已经解析了CSV文件，创建了一个模式，并将其保存到HDFS）如下所示。

val df2 = sqlContext.read.parquet("hdfs://box/path/to/file.parquet")

现在我想知道像下面的查询时间这样的操作是否会受到影响和/或不同。

• df1.where("col1='some1'").count()
• df1.where("col1='some1' and col2='some2'").count()

我想知道是否有人知道是否有 predicate 下推Parquet？
对我来说，parquet似乎有点像一个反向索引，并且可以预期，对于基于parquet的 Dataframe ，简单的计数过滤器会比基于CSV的 Dataframe 更快。至于CSV支持的 Dataframe ，我想每次我们过滤项目时都必须进行完整的数据集扫描。
任何关于CSV与parquet支持的 Dataframe 查询性能的澄清都是值得赞赏的。此外，任何有助于加快 Dataframe 中查询计数的文件格式也是受欢迎的。