mlc-llm [Feature Request] Python packages on PyPI

8fq7wneg  于 2个月前  发布在  Python
关注(0)|答案(3)|浏览(35)

🚀 功能

Python的MLC包目前是从一个自定义的wheel服务器上按照https://mlc.ai/package/上的说明进行安装的。如果wheels也能发布到http://pypi.org/,那么它们就可以在没有额外说明的情况下被安装了,这将非常棒。

动机

我正在尝试让我的项目LLM尽可能地简化人们安装和运行语言模型的过程。
我有一个用于MLC的插件:https://github.com/simonw/llm-mlc#installation - 但目前该插件的安装说明如下:
在与llm相同的环境中安装此插件。
你需要手动安装两个依赖项 - mlc-chat-nightlymlc-ai-nightly - 因为从一个平台到另一个平台的安装过程尚未自动化。
这些步骤是described in detail on the mlc.ai/package站点。
如果你使用的是Apple Silicon M1/M2 Mac,你可以运行以下命令:

llm mlc pip install --pre --force-reinstall \
  mlc-ai-nightly \
  mlc-chat-nightly \
  -f https://mlc.ai/wheels

这里的llm mlc pip命令确保pip将在与llm本身相同的虚拟环境中运行。
对于其他系统,执行follow the instructions here
这比我想要的复杂得多!
如果MLC包可以在PyPI上可用,我可以把所有这些都缩减到只有一行代码:

llm install llm-mlc

并且让这个包依赖于官方的wheels。

pbossiut

pbossiut1#

从查看 https://mlc.ai/package/ 来看,自定义安装机制的主要需求是不同版本的CUDA。
你是否有关于每个软件包下载次数的统计数据?如果发现绝大多数人没有获取CUDA软件包,那么将现有的 mlc-ai-nightlymlc-chat-nightly 软件包推送到PyPI(Windows/Mac/Linux会自动从PyPI获取正确的wheel文件)可能是一个好解决方案。
你仍然可以为CUDA用户创建自定义页面,但你也可以将这些软件包发布到PyPI,并告诉你的CUDA用户根据他们的版本选择 pip install mlc-ai-nightly-cu116mlc-ai-nightly-cu117mlc-ai-nightly-cu118

e4yzc0pl

e4yzc0pl2#

CC @tqchen 添加PyPi包将是一个很好的补充,但我们可能需要检查PyPi包大小限制。

b1uwtaje

b1uwtaje3#

PyPI的大小限制是灵活的——如果你认为有必要,可以向他们提交支持请求以增加你的包的大小限制(我认为MLC应该被视为增加这种限制的理由)。

相关问题