使用您拥有的信息是非常困难的，但是据我所知，您不想使用dataframe函数，而是用datasetapi实现所有功能，您可以通过以下方式来实现
使用joinwith连接这两个数据集，您可以在这里找到一个示例https://jaceklaskowski.gitbooks.io/mastering-spark-sql/spark-sql-joins.html#joinwith
聚合：我会使用 groupByKey 然后 mapGroups 像这样的

ds.groupByKey(x=>x.id).mapGroups { case (key,iter) => { 
        val list = iter.toList
        val totalTransactionAmount = ???
        val averageTransactionAmount = ??? 
        (key,totalTransactionAmount,averageTransactionAmount)
   } 
 }

希望这个示例能让您了解如何使用dataset api解决问题，并使其适应您的问题。