mlc-llm [Bug] gemma-2b for Android. OpenCL错误代码=-54: CL_INVALID_WORK_GROUP_SIZE

yk9xbfzb 于 4个月前发布在 Android

关注(0)|答案(6)|浏览(59)

错误信息

Gemma-2b 在 Android 上编译失败，加载模型成功，但聊天时出现错误：OpenCL Error Code=-54: CL_INVALID_WORK_GROUP_SIZE。

重现步骤

通过 q4f16_0 目标在 Android 上编译 gemma-2b。
编译 Android jar。
通过 Android Studio 构建应用程序。

预期行为

无。

mlc-llm

来源：https://github.com/mlc-ai/mlc-llm/issues/1844

6条答案

按热度按时间

hfsqlsce1#

问题描述

在q4f16_0环境下编译Gemma-2b for Android时，加载模型成功，但聊天出现错误：OpenCL Error Code=-54: CL_INVALID_WORK_GROUP_SIZE。堆栈跟踪显示在"/home/chaoqin/mlcllm/3rdpaty/tvm/scr/runtime/opencl/opencl_module.cc",第90行。

预期行为

在Android平台上使用WebGPU/Vulkan/IOS/Android等平台编译MLC-LLM和TVM-Unity。

环境信息

平台(例如WebGPU/Vulkan/IOS/Android):Android
操作系统(例如Ubuntu/Windows/MacOS/...):Ubuntu
设备(例如iPhone 12 Pro,PC+RTX 3090,...):Android Qualcomm Snapdragon 865
如何安装MLC-LLM(conda,来源):conda
如何安装TVM-Unity(pip,来源):pip
Python版本(例如3.10):3.10
GPU驱动版本(如有适用):535.86.05
CUDA/cuDNN版本(如有适用):CUDA 11.8
TVM Unity哈希标签(适用于编译模型的情况，如果适用):

USE_NVTX: OFF
USE_GTEST: AUTO
SUMMARIZE: OFF
USE_IOS_RPC: OFF
USE_MSC: OFF
USE_ETHOSU:
CUDA_VERSION: NOT-FOUND
USE_LIBBACKTRACE: AUTO
DLPACK_PATH: 3rdparty/dlpack/include
USE_TENSORRT_CODEGEN: OFF
USE_THRUST: OFF
USE_TARGET_ONNX: OFF
USE_AOT_EXECUTOR: ON
BUILD_DUMMY_LIBTVM: OFF
USE_CUDNN: OFF
USE_TENSORRT_RUNTIME: OFF
USE_ARM_COMPUTE_LIB_GRAPH_EXECUTOR: OFF
USE_CCACHE: AUTO
USE_ARM_COMPUTE_LIB: OFF
USE_CPP_RTVM:
USE_OPENCL_GTEST: /path/to/opencl/gtest
USE_MKL: OFF
USE_PT_TVMDSOOP: OFF
MLIR_VERSION: NOT-FOUND
USE_CLML: OFF
USE_STACKVM_RUNTIME: OFF
USE_GRAPH_EXECUTOR_CUDA_GRAPH: OFF
ROCM_PATH: /opt/rocm
USE_DNNL: OFF
USE_VITIS_AI: OFF
USE_MLIR: OFF
USE_RCCL: OFF
USE_LLVM: llvm-config --ignore-libllvm --link-static
USE_VERILATOR: OFF
USE_TF_TVMDSOOP: OFF
USE_THREADS: ON
USE_MSVC_MT: OFF
BACKTRACE_ON_SEGFAULT: OFF
USE_GRAPH_EXECUTOR: ON
USE_NCCL: OFF
USE_ROCBLAS: OFF
GIT_COMMIT_HASH: 79991133c17bb8685185e1f03cc2f688ea37c974
USE_VULKAN: ON
USE_RUST_EXT: OFF
USE_CUTLASS: OFF
USE_CPP_RPC: OFF
USE_HEXAGON: OFF
USE_CUSTOM_LOGGING: OFF
USE_UMA: OFF
USE_FALLBACK_STL_MAP: ON
USE_SORT: ON
USE_RTTI: ON
GIT_COMMIT_TIME: 2024-02-21 22:31:30 -0500
USE_HEXAGON_SDK: /path/to/sdk
USE_BLAS: none
USE_ETHOSN