目前,令牌使用报告是按批次运行进行汇总的。然而,如果Promptflow能够为每个AOAI连接部署提供令牌使用报告,这将对用户更有帮助,以便估算成本。此外,如果用户可以通过PF SDK以JSON格式阅读此类报告,也将非常有帮助。
owfi6suc1#
你好,Wix97。感谢联系我们,您能否详细说明一下“每个AOAI连接部署的使用情况”?这是否与任何运行有关,例如具有不同部署的批处理运行以获取每个部署的使用情况,还是仅总体部署令牌使用情况?对于后者,似乎应该是AzureOpenAI的功能,而不是promptflow。
ne5o7dgx2#
抱歉引起混淆,第一个案例是我在这里想要提及的。例如,有一个流程消耗了2个AOAI连接,每个连接有2个部署。如果promptflow能够生成类似以下的令牌使用报告会很有帮助:
"token_usage": { "connection_1": { "connection_1_deployment_1": { "prompt_tokens": 123, "completion_tokens": 456 }, "connection_1_deployment_2": { "prompt_tokens": 123, "completion_tokens": 456 } }, "connection_2": { "connection_2_deployment_1": { "prompt_tokens": 123, "completion_tokens": 456 }, "connection_2_deployment_2": { "prompt_tokens": 123, "completion_tokens": 456 } } } }
pgx2nnw83#
从pf的Angular 来看,根据tokens来总结这些tokens的合同定义起来会很复杂。我有一个建议:如果我们能在其他节点上获取tokens的能力呢?例如,我们提供这样一个表达式:{llm_node_1.system_metrics.usage} 来获取一个节点的使用字典,然后你可以有一个汇总节点来获取自己的字典。
{llm_node_1.system_metrics.usage}
ego6inou4#
LGTM👍
4条答案
按热度按时间owfi6suc1#
你好,Wix97。感谢联系我们,您能否详细说明一下“每个AOAI连接部署的使用情况”?这是否与任何运行有关,例如具有不同部署的批处理运行以获取每个部署的使用情况,还是仅总体部署令牌使用情况?对于后者,似乎应该是AzureOpenAI的功能,而不是promptflow。
ne5o7dgx2#
抱歉引起混淆,第一个案例是我在这里想要提及的。
例如,有一个流程消耗了2个AOAI连接,每个连接有2个部署。如果promptflow能够生成类似以下的令牌使用报告会很有帮助:
pgx2nnw83#
从pf的Angular 来看,根据tokens来总结这些tokens的合同定义起来会很复杂。我有一个建议:如果我们能在其他节点上获取tokens的能力呢?
例如,我们提供这样一个表达式:
{llm_node_1.system_metrics.usage}
来获取一个节点的使用字典,然后你可以有一个汇总节点来获取自己的字典。ego6inou4#
LGTM👍