🚀 功能
目前在 https://llm.mlc.ai/docs/deploy/android.html 上提供了一个 Android APK。然而,它已经过时了,并且没有按照常规时间表定期更新。
如果能有一个每晚或每周构建的Android APK,并放在一个易于访问的地方,那就太好了。
如果需要的话,可以为 Adreno 和 Mali GPU 提供单独的版本。
动机
有了每晚或每周构建的功能,用户总是可以获取最新版本,并知道在某个功能合并后何时会构建新版本。
目前在 https://llm.mlc.ai/docs/deploy/android.html 上提供了一个 Android APK。然而,它已经过时了,并且没有按照常规时间表定期更新。
如果能有一个每晚或每周构建的Android APK,并放在一个易于访问的地方,那就太好了。
如果需要的话,可以为 Adreno 和 Mali GPU 提供单独的版本。
有了每晚或每周构建的功能,用户总是可以获取最新版本,并知道在某个功能合并后何时会构建新版本。
7条答案
按热度按时间3htmauhk1#
感谢您的建议,将应用部署到移动设备上会涉及更多的检查,因此我们可能会在未来遵循发布计划,而不是进行夜间的APK更新。
rlcwz9us2#
一个(可预测的)发布计划也会很好。例如,看起来Android APK是3天前发布的,但是没有版本号或更新日志可用。这使得很难看到某些功能是否受支持。
u0sqgete3#
我同意Ewouth的观点。你们已经找到了市场的空缺,你们是唯一一款可以在手机上运行LLM的安卓应用。
我使用Phi-2,哇,这太棒了。Phi-3刚刚发布,而且比Llama 2 70b更好,只需要2GB的数据(如果能在手机上工作就太不可思议了,尤其是现在高通已经在手机上搭载了NPU来卸载LLM,从而实现更快的令牌生成和更少的电池消耗)。
9rbhqvlz4#
我们正在朝着基于JIT的SDK系统发展,在https://llm.mlc.ai/docs/deploy/android.html中,希望通过直接重新运行
mlc_llm package
来整合最新功能。在短期内,我们可能不会进行夜间APK构建,但希望SDK以及引擎迁移后的APK发布可以帮助人们构建应用程序。请继续关注未来的MLCEngine更新#2217。
ogq8wdun5#
你好,问题不仅仅是重建它,还要为其他人提供apk。恐怕在几个月后我们才能再次看到自定义mlc应用程序:-(...
2024年5月11日,星期六,Tianqi Chen,***@***.***>写道:我们正在朝着基于JIT的SDK系统发展,希望https://llm.mlc.ai/docs/deploy/android.html中的最新功能能够通过直接重新运行mlc_llm包来实现。我们可能不会进行apk构建,但希望SDK以及引擎迁移后的发布可以帮助人们构建应用程序,请继续关注未来的MLCEngine更新#2217 < #2217 > 。——直接回复此电子邮件,查看GitHub上的评论<#2194>,或取消订阅https://github.com/notifications/unsubscribe-auth/AB7MPQV7XHWPC3Z2U4PV5TLZBWD5NAVCNFSM6AAAAABGS5I5T2VHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMZDCMBVGUYDIMRWGY。您收到此邮件是因为您进行了评论。消息ID:***@***.***>
1cosmwyk6#
抱歉,我只是想澄清一下,我们希望为稳定版本提供APK。例如,在近期内,对于夜间版本来说会更困难。
osh3o9ms7#
抱歉,我只是想澄清一下,我们希望为稳定版本提供APK。例如,在近期内,对于夜间发布来说会更困难。
谢谢!
您预计何时会有带有phi 3的APK?
我们如何识别它?因为您当前托管在GitHub上的APK文件名中没有版本名称。
附注:为什么每次新模型都需要下载新的APK?难道不是更容易有一个外部更新的列表吗?这样可以更新内部列表。这样一来,您只需将新模型添加到外部托管列表中即可。用户只需按下刷新按钮,就可以看到所有支持的模型(列表),这也将解决意外删除模型的问题。