与sas的hadoop连接

ukqbszuj  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(556)

我想使用sas/acess 9.3m2接口将sas连接到我的配置单元。我的问题是,sas是否将配置单元多维数据集导入sas环境并在那里进行查询?或者,它再次击中Hive的目的是报告,使它运行先生,这降低了我的报告性能超过2-4秒。
如果它将配置单元表导入到其环境中,与普通sql多维数据集相比,它的性能会如何?
我对sas完全陌生,我希望我的报告在2-4秒内生成,其中我的聚合数据在配置单元表中,然后我在上面创建了多维数据集维度。
谢谢。。。

i86rm4rw

i86rm4rw1#

sas/access的作用是:-为您提供从数据源读取数据和向数据源写入数据的能力,处理数据类型转换-提供有关数据存储的元数据(表、字段列表,数据类型)-提供将sas代码(隐式传递)转换为特定于数据源的代码(通常是sql变量等)的方法(也可以部分转换)-提供编写特定于数据源的代码并从sas发送以在数据源中执行的方法
我对hadoop完全陌生:-)所以我猜sas/access-to-hadoop(通过libname语句)从hadoop读取关系数据,文档中提到了jdbc,所以我猜这是用于数据访问的。我怀疑sas/access是否能够从hadoop查询多维数据集(这是您的问题吗?——”我已经在上面创建了多维数据集“-在hadoop中是什么意思?”。
通常,sas/access会尽量减少数据源的数据传输,并尝试将处理推送到数据源。
从http://blog.cloudera.com/blog/2013/05/how-the-sas-and-cloudera-platforms-work-together:
sas/access到hadoop
sas/access提供了以本机方式访问sas中hadoop中存储的数据集的能力。使用sas/access访问hadoop:

LIBNAME statements can be used to make Hive tables look like SAS data sets on top of which SAS Procedures and SAS DATA steps can interact.
PROC SQL commands provide the ability to execute direct Hive SQL commands on Hadoop.
PROC HADOOP provides the ability to directly submit MapReduce, Apache Pig, and HDFS commands from the SAS execution environment to your CDH cluster.

sas/access接口可从sas 9.3m2版本获得,支持cdh 3u2、cdh 4.01及更高版本。
也可能是有用的程序hadoop在http://support.sas.com/documentation/cdl/en/proc/65145/html/default/viewer.htm#p1esotuxnkbuepn1w443ueufw8in.htm

相关问题