我使用雪花作为我的dwh和Spark为我的etl和我没有Hive表。在没有hadoop生态系统的情况下,有没有使用apachekylin的选项?
jogvjijk1#
从我读到的情况来看,这是相当复杂的。为了利用分布式系统上的分析功能,我建议的一些替代方法是使用物化视图来过滤来自snowflake中每个分布式系统部分的数据https://docs.snowflake.net/manuals/user-guide/views-materialized.html和预览功能,数据交换查询分析?https://docs.snowflake.net/manuals/user-guide/data-exchange-intro.html我希望这有帮助,对不起,我不是很有帮助与ApacheKylin。
jjjwad0x2#
答案是否定的。它不能直接从sparkDataframe读取数据,它支持的数据源是hive、kafka和rdbms。
uelo1irk3#
kyligencecloud基于apachekylin核心,但是基于aws和azure的云产品提供了直接连接到snowflake的能力,而无需hadoop。点击此处了解更多信息:https://kyligence.io/news/kyligence-releases-cloud-native-olap-for-azure-aws-and-google-cloud-platform/
3条答案
按热度按时间jogvjijk1#
从我读到的情况来看,这是相当复杂的。为了利用分布式系统上的分析功能,我建议的一些替代方法是使用物化视图来过滤来自snowflake中每个分布式系统部分的数据
https://docs.snowflake.net/manuals/user-guide/views-materialized.html
和预览功能,数据交换查询分析?
https://docs.snowflake.net/manuals/user-guide/data-exchange-intro.html
我希望这有帮助,对不起,我不是很有帮助与ApacheKylin。
jjjwad0x2#
答案是否定的。它不能直接从sparkDataframe读取数据,它支持的数据源是hive、kafka和rdbms。
uelo1irk3#
kyligencecloud基于apachekylin核心,但是基于aws和azure的云产品提供了直接连接到snowflake的能力,而无需hadoop。点击此处了解更多信息:https://kyligence.io/news/kyligence-releases-cloud-native-olap-for-azure-aws-and-google-cloud-platform/