我已经使用SageMaker Jumpstart服务创建了一个LLM端点。我已经测试过了,一切都很好。但是我应该在哪里检查使用的是哪个Docker镜像?
例如,在端点配置中,我只能找到这些变量:
Key Value
sagemaker:user-profile-arn My User id
aws-jumpstart-inference-model-uri s3://jumpstart-cache-prod-us-east-1/meta-infer/infer-meta-textgeneration-llama-2-7b.tar.gz
sm-jumpstart-monitor True
sm-jumpstart-id JumpStart ID
sagemaker:domain-arn domain
我确实需要Docker镜像来通过CloudFormation部署端点。
问候,沃洛季米尔
1条答案
按热度按时间ix0qys7i1#
Amazon SageMaker JumpStart是启动常规端点的快速方法。
到达相关模型-在控制台中,选择SageMaker服务,然后在左侧选项卡中,打开推理和模型。
在模型配置中,应该可以看到ImageURI。