CTranslate2 无法隐藏GPU以获取CUDA设备数量

ycggw6v2  于 6个月前  发布在  其他
关注(0)|答案(5)|浏览(70)

你好,
感谢这个很棒的项目!
我正在运行Windows 11和ctranslate2 v4.2.1。当在带有gpu的机器上运行时,即使我将CUDA_VISIBLE_DEVICES设置为空字符串,get_cuda_device_count()始终返回机器上的gpu数量。这是预期的吗?

ev7lccsx

ev7lccsx1#

CUDA_VISIBLE_DEVICES应该影响哪个GPU可见。如果你有超过2个GPU,尝试导出CUDA_VISIBLE_DEVICES=1并运行脚本,看看GPU 1是否按预期使用。

wfsdck30

wfsdck302#

我只有一个GPU,当我设置CUDA_VISIBLE_DEVICES=""时,数量仍然是1。Il Lun 13 Mag 2024, 17:51 Minh-Thuc ***@***.***> ha scritto:...
CUDA_VISIBLE_DEVICES应该影响哪个GPU将被可见。如果您有超过2个GPU,请尝试导出CUDA_VISIBLE_DEVICES=1并运行脚本以查看GPU 1是否按预期使用。 — 回复此电子邮件,直接查看GitHub <#1693 (comment)>,或取消订阅 < https://github.com/notifications/unsubscribe-auth/AA7LDISRBLZNAZFGACHKIQLZCDOPNAVCNFSM6AAAAABHLYM5VCVHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMZDCMBYGA3TOMZQG4 > 。您收到此消息是因为您创建了该线程。Message ID: ***@***.***>

kd3sttzy

kd3sttzy3#

我刚刚测试了一下,如果我设置了CUDA_VISIBLE_DEVICES=""并且用ctranslate2::get_gpu_count()获取GPU设备数量,我得到了正确的值。

zfycwa2u

zfycwa2u4#

你是否在Windows上测试过?Il Mar 14 Mag 2024, 11:14 Minh-Thuc ***@***.***> ha scritto:我刚刚测试了一下,如果我设置CUDA_VISIBLE_DEVICES=""并且使用ctranslate2::get_gpu_count()获取GPU设备数量,我得到了正确的值。——直接回复此电子邮件,查看GitHub <#1693 (comment)>,或者取消订阅< https://github.com/notifications/unsubscribe-auth/AA7LDIS3U7DF375G3TSFJITZCHIXLAVCNFSM6AAAAABHLYM5VCVHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMZDCMBZGY4DQNRXGQ >。你收到这封邮件是因为你创建了这个线程。消息ID:***@***.***>

lnvxswe2

lnvxswe25#

我在Linux上进行了测试。请确保您正确设置了环境变量。您可以直接在不使用ct2的情况下使用CUDA进行测试。

相关问题