CTranslate2 Intel高级矩阵扩展(AMX)支持

thigvfpy  于 6个月前  发布在  其他
关注(0)|答案(1)|浏览(66)

你好,CTranslate2开发者们,

我是一个使用你们库的用户,非常感谢你们为提供快速且准确的推理引擎所做的工作。我想知道你们是否有计划支持英特尔高级矩阵扩展(AMX)用于CPU推理。我已经尝试使用-mamx-tile -mamx-int8 -mamx-bf16标志从源代码编译CTranslate2,但似乎还需要一些额外的步骤来启用AMX(可能需要添加一个新的内核作为vec_amx.h,并修改vec_avx512.h以启用AMX瓦片操作)。

如果可能的话,请分享一下你们对这个主题的看法,并告诉我AMX支持对于CTranslate2来说是否可行和可取。

感谢你们的关注和时间。

pb3skfrl

pb3skfrl1#

Hello,
Thank you for your suggestion. We have no plan to do this now. However, some works are needed to implement AMX for some operations. It would be nice to have this, I will look at it more in detail.

相关问题