我正在尝试将ims大型机数据摄取到hadoop中。想知道是否有可能通过以下任何一个）apachespark或mapreduce工作。b） 任何其他工具/技术。我们的主要目标是每天/每周接收ims大型机数据，这些数据将按计划运行
oxiaedzo1#
因为ims主机有一个jdbc连接器可用https://www.ibm.com/support/knowledgecenter/en/sseph2_13.1.0/com.ibm.ims13.doc.apg/ims_odbjdbcintro.htm 使用sqoop将是一个很好的起点(绝对不是一个ims专业版（只是阅读文档）从sqoop开始，您将在hadoophdfs上编写数据，然后能够在spark数据集上使用它。sqoop允许您执行完全导入或增量导入。在我看来，我建议使用sqoop1而不是版本2。有了一个cron作业来安排你的运行，你就可以随心所欲地安排了。
qoefvg9y2#
您的首选（a）apachespark可用于z/os。在完全商业支持的形式下，它被称为ibmopendataanalyticsforz/os，有时缩写为izoda。izoda肯定支持直接访问ims数据，但性能比远程ims访问要好得多。izoda的ibm程序号是5655-od1，ibm提供了一个基于云的试用版，因此您可以看到它是如何工作的。
qyyhg6bp3#
我建议为db2使用jdbc连接器，为dl/i数据库使用高性能卸载。存在用于持续数据捕获的产品—attunity和optim就是其中的两个。如果您不想让ims系统传递包含有趣内容的mq或kafka消息，那么您可以让ims系统传递这些消息。
dgenwo3n4#
大型机文件的db2接口不是最佳选择。在我的工作中，我们遇到了一个类似的情况，jdbc驱动程序没有提供摄取框架和配置单元表创建所需的完整元数据集。您可以使用最简单的流程：将文件导出到ftp/samba将文件拉入hdfs使用spark或jvm应用程序解析文件
4条答案
按热度按时间oxiaedzo1#
因为ims主机有一个jdbc连接器可用https://www.ibm.com/support/knowledgecenter/en/sseph2_13.1.0/com.ibm.ims13.doc.apg/ims_odbjdbcintro.htm 使用sqoop将是一个很好的起点(绝对不是一个ims专业版（只是阅读文档）
从sqoop开始，您将在hadoophdfs上编写数据，然后能够在spark数据集上使用它。sqoop允许您执行完全导入或增量导入。在我看来，我建议使用sqoop1而不是版本2。有了一个cron作业来安排你的运行，你就可以随心所欲地安排了。
qoefvg9y2#
您的首选（a）apachespark可用于z/os。在完全商业支持的形式下，它被称为ibmopendataanalyticsforz/os，有时缩写为izoda。izoda肯定支持直接访问ims数据，但性能比远程ims访问要好得多。izoda的ibm程序号是5655-od1，ibm提供了一个基于云的试用版，因此您可以看到它是如何工作的。
qyyhg6bp3#
我建议为db2使用jdbc连接器，为dl/i数据库使用高性能卸载。
存在用于持续数据捕获的产品—attunity和optim就是其中的两个。
如果您不想让ims系统传递包含有趣内容的mq或kafka消息，那么您可以让ims系统传递这些消息。
dgenwo3n4#
大型机文件的db2接口不是最佳选择。在我的工作中，我们遇到了一个类似的情况，jdbc驱动程序没有提供摄取框架和配置单元表创建所需的完整元数据集。
您可以使用最简单的流程：
将文件导出到ftp/samba
将文件拉入hdfs
使用spark或jvm应用程序解析文件