1） 柱状格式的parquet适合olap。实木复合地板的Spark支撑已经足够成熟，可以生产使用。我建议将表示信号值的字符串解析为以下数据结构（简化）：

case class Data(id: Long, signals: Array[Double])
 val df = sqlContext.createDataFrame(Seq(Data(1L, Array(1.0, 1.0, 2.0)), Data(2L, Array(3.0, 5.0)), Data(2L, Array(1.5, 7.0, 8.0))))

保留double数组允许定义和使用如下自定义项：

def maxV(arr: mutable.WrappedArray[Double]) = arr.max
sqlContext.udf.register("maxVal", maxV _)
df.registerTempTable("table")

sqlContext.sql("select * from table where maxVal(signals) > 2.1").show()
+---+---------------+
| id|        signals|
+---+---------------+
|  2|     [3.0, 5.0]|
|  2|[1.5, 7.0, 8.0]|
+---+---------------+

sqlContext.sql("select id, max(maxVal(signals)) as maxSignal from table group by id having maxSignal > 1.5").show()
+---+---------+
| id|maxSignal|
+---+---------+
|  1|      2.0|
|  2|      8.0|
+---+---------+

或者，如果您需要某种类型安全性，请使用scala dsl：

import org.apache.spark.sql.functions._
val maxVal = udf(maxV _)
df.select("*").where(maxVal($"signals") > 2.1).show()
df.select($"id", maxVal($"signals") as "maxSignal").groupBy($"id").agg(max($"maxSignal")).where(max($"maxSignal") > 2.1).show()
+---+--------------+
| id|max(maxSignal)|
+---+--------------+
|  2|           8.0|
+---+--------------+

2） 这取决于：如果数据的大小允许以合理的延迟在查询时间内完成所有处理，那就去做吧。您可以从这种方法开始，然后为缓慢/流行的查询构建优化的结构
3） Hive是缓慢的，它过时的 Impala 和Sparksql。选择有时并不容易，我们使用经验法则：impala适用于没有连接的查询如果您的所有数据都存储在hdfs/hive中，spark具有更大的延迟，但连接是可靠的，它支持更多的数据源并具有丰富的非sql处理能力（如mllib和graphx）
4） 保持简单：存储原始数据（主数据集），消除重复并分区（我们使用基于时间的分区）。如果新数据到达分区，并且已经生成了下游数据集，请为此分区重新启动管道。
希望这有帮助

首先，我相信维塔利的方法在各个方面都非常好(我完全支持spark）
不过，我想提出另一种方法。原因是：
我们想做交互式查询（+我们有cdh）
数据已经结构化
需要的是“分析”而不是“处理”数据。如果（a）数据结构化，我们可以更快地形成sql查询，（b）我们不想每次运行查询时都编写一个程序，那么spark可能是一种过度杀伤力
以下是我想遵循的步骤：
使用sqoop摄取到hdfs:[可选]使用--as parquetfile
根据需要创建一个外部impala表或一个内部表。如果尚未将文件作为Parquet文件传输，则可以在此步骤中执行此操作。分区方式，最好是源id，因为我们的分组将发生在该列上。
所以，基本上，一旦我们传输了数据，我们所需要做的就是创建一个impala表，最好是Parquet格式的，并按要用于分组的列进行分区。请记住在加载后进行计算统计，以帮助impala更快地运行它。
移动数据：-如果我们需要从结果中生成feed，请创建一个单独的文件-如果另一个系统要更新现有数据，则在创建->加载表时将数据移动到其他位置-如果只是关于查询和分析以及获取报告（即，外部表就足够了），我们不需要不必要地移动数据—我们可以在相同的数据上创建一个外部配置单元表。如果我们需要运行长时间运行的批处理查询，我们可以使用hive。不过，这对交互式查询来说是个禁忌。如果我们从查询中创建任何派生表并希望通过impala使用，请记住在对配置单元生成的表运行impala查询之前先运行“invalidatemetadata”
血统-我还没有深入到它，这里有一个关于 Impala 血统使用cloudera导航器的链接