jieba 使用c/c++重写了计算DAG和HMM中的vitrebi函数,速度大幅提升

7fhtutme  于 4个月前  发布在  C/C++
关注(0)|答案(8)|浏览(84)
除了函数的替换外,基本上没有改动别处的代码。经过大量测试分词的结果与您的结果相同,开启HMM的普通模式时间缩短了60%左右,关闭HMM的普通模式时间缩短了50%左右。
  请问我可以把这些独立成一个仓库吗,经完整的测试后再request你的readme
egdjgwm8

egdjgwm81#

*unix下编译.so没啥问题,windows下目前兼容还不好还在调试

j0pj023g

j0pj023g2#

windows就不要支持了,你可以弄一个说明,就说,c++代码库只支持linux系统,不对windows提供。

windows就让他们用py代码得了。反正又不跑服务端.

j2cgzkjk

j2cgzkjk3#

用 except ImportError 这种吧,你先 fork 到自己仓库,作者估计也不怎么管了。

eqfvzcg8

eqfvzcg84#

已经封装好,详情见 https://github.com/deepcs233/jieba_fast
可使用 pip install jieba_fast 安装

1rhkuytd

1rhkuytd5#

安装出错啊,报错少文件。
gcc: 错误:source/jieba_fast_functions_wrap_py3_wrap.c:没有那个文件或目录
gcc: 致命错误:没有输入文件
编译中断。

c2e8gylq

c2e8gylq6#

@george-sq 已经fix,有问题建议到issues里问

ippsafx7

ippsafx77#

我想,你可以把这些c的程序封装成一个静态 so文件,然后可以增加到这个项目里面,然后py脚本直接调用你的cso 代码,这样可以提高效率。也可以让这个项目更加的完美。

xmakbtuz

xmakbtuz8#

增加一个 c的模块在里面,然后,py 脚本函数调用弄一个开关,选择是用py代码还是用c代码。

相关问题