我有一个Rails应用程序。我需要实现自动文本分类算法，并可能在应用程序中实现更多的NLP功能。我相信Ruby没有Python那样的好的NLP工具。我使用一个单独的resque服务器来处理后台作业。我相信我有以下内容
1.使用resque作业运行python脚本
1.在单独的服务器上运行flask应用程序，该服务器可以与resque job对话，也可以使用处理后的结果自动更新应用程序数据库。
1.使用this thread中提到的Ruby工具
1.欢迎任何其他建议
请告诉我最好的方法是什么。有类似的工作例子吗？
1条答案
按热度按时间h5qlskok1#
几个月前我也遇到过同样的问题。经过一点研究和测试，这就是我实现的解决方案
运行多个python进程尽可能多的一台机器可以容纳。并且根据需要使用尽可能多的机器。
**使用ZeroMQ**在Web服务器和运行python进程的计算机之间进行通信
不要使用HTTP进行通信因为开销很大，而且与ZeroMQ相比速度非常慢。使用ZeroMQ时，您也不需要像使用HTTP时那样复杂的处理程序
注意只向内部网络公开ZeroMQ套接字，否则您需要在每个python服务器上设置身份验证
另一种选择是，如果不需要任何基于语料库的算法（如POS标记、情感分析等），则只使用许多可用NLP API中的一个。