订阅-物联网数据系统设计:google pub/sub vs kafka vs kinesis vs pubnub用于物联网数据摄取?

euoag5mw  于 2021-06-07  发布在  Kafka
关注(0)|答案(2)|浏览(423)

我正试图建立一个物联网+数据分析系统,我很难决定使用什么技术或服务摄取。
最终目标的高级描述是:
物联网设备将数据推送到物联网网关(使用zigbee、z-wave、蓝牙等)
物联网网关(连接到互联网)将数据推送到发布/子系统
后端服务处理来自发布/子系统的数据,更新 Jmeter 板并发出警报
我的问题是,如果我们只需要~10秒的响应时间,我们应该使用什么样的子系统(e、 g.以下情况是可以接受的:物联网设备感知到事件,然后大约10秒后它出现在用户的 Jmeter 板上或发出警报)
以下是我的一些问题:
我看到pubnub在物联网上做了很多广告。我的理解是,pubnub基本上是一个非常快速的pubsub系统,保证不到1/4秒的交付-这是一个正确的理解吗?但与使用谷歌的pub/sub或维护我们自己的Kafka相比,pubnub有点贵。
google pub/sub在某种意义上类似于pubnub吗?因为它不像一个运行在单个数据中心的独立管理的kafka集群,google pub/sub有自己的网络,因为它是google的一部分(类似于pubnub是一个“数据流网络”?)
如果我使用Kafka,生产者应该在网关设备?
如果生产者不在网关设备中,那么kafka生产者是否应该在我们的服务器上,并具有restapi来接受来自网关设备的消息?
如果kafka生产者在网关设备中,那么在kafka代理面前是否需要有什么特殊的东西来接受来自网关设备的消息?
pubnub可用于将命令发送回iot设备。谷歌酒吧/酒吧或Kafka也能做到这一点吗?
要使用kafka将命令推送到物联网设备,每个网关设备是否都需要一个正在等待来自其订阅主题的消息的消费者(e、 g.命令)
另外,不确定是否值得一提,但目前,团队只有我和其他两个完整的堆栈开发人员。我们已经读过Kafka和zookeeper的文章,但是我们都没有通过推出一个教程的例子。

5kgi1eie

5kgi1eie1#

我推荐选项3.1,因为我个人知道它在许多物联网使用案例的生产中都得到了验证,包括一个涉及超过2000万台设备的案例。confluent kafka rest proxy是开源的,它是一种很好的方法,可以将rest/http从internet上的网关(使用防火墙和负载平衡器友好的https协议)转换为云/数据中心中的kafka rest代理,然后转换为kafka和所有非常支持kafka的后端 Jmeter 板工具。甚至ibm在bluemix-messagehub上的物联网基础设施也使用这种架构。如果您不喜欢rest,那么可以选择mqtt、coap、websockset、amqp、xmpp和许多其他kafka连接器。

raogr8fs

raogr8fs2#

所有伟大的问题(完全披露(我为pubnub工作)
pubnub不仅仅是pub/sub(稍后我会讨论这个问题)。first pubnub作为一个全球分布式网络的构建是有原因的——因此我们可以通过本地存在点为世界各地的所有设备提供低延迟连接。由于这种分布式架构,您的设备将始终连接到离它们最近的pop,并且由于我们全局复制消息,如果服务器或节点宕机,您将自动重新连接到下一个最近的节点,而不会丢失消息。因此,pubnub为所有客户提供99.999%的正常运行时间sla。
当谈到构建与购买决策时,我可以告诉你,我们的许多客户一开始以为自己可以构建,但很快就意识到这项任务远远超出了他们的预期-请阅读这里的更多内容。构建和维护客户机库、扩展后端、全天候监控和安全性都是您需要具备的内部专业技能。如果您考虑到前期开发成本、持续维护(相对于今天下载sdk),那么就从今天开始编码,这样您就可以使用已知的可扩展解决方案更快地进入市场。
pubnub是基于交易定价的,因此根据设备数量和流量水平,我敢打赌总成本仍然低于一名全职员工。为此,您可以从超过70多个客户机sdk中进行选择,利用经验证的可扩展体系结构,利用已内置的安全功能,让一个完整的团队随时准备好并等待全天候的帮助,这样您就可以专注于创新而不是基础设施。
pubnub不仅仅是pub/sub。pubnub不仅提供实时消息传递,还通过可编程网络提供状态管理和无服务器计算。pubnub允许您在网络中编写和部署函数,事实上,在pubnub blocks目录中已经有30多个预构建函数,允许您在数据更改时发送sms、电子邮件等。
pubnub还创建了一个开源项目,用于构建名为projecteon的实时 Jmeter 板。这使得为所有设备数据提供实时可视化变得非常容易。
您还正确地指出pubnub可以用于远程设备控制。如今,insteon、logitech、三星、wink等公司都在使用它。
如果您有任何其他问题,pubnub有一个惊人的支持人员24/7-support@pubnub.com 或者点击网站上的聊天。

相关问题