promptflow [功能请求]希望获得每个AOAI连接部署的令牌使用情况报告

ha5z0ras  于 6个月前  发布在  其他
关注(0)|答案(4)|浏览(61)

目前,令牌使用报告是按批次运行进行汇总的。然而,如果Promptflow能够为每个AOAI连接部署提供令牌使用报告,这将对用户更有帮助,以便估算成本。此外,如果用户可以通过PF SDK以JSON格式阅读此类报告,也将非常有帮助。

owfi6suc

owfi6suc1#

你好,Wix97。感谢联系我们,您能否详细说明一下“每个AOAI连接部署的使用情况”?这是否与任何运行有关,例如具有不同部署的批处理运行以获取每个部署的使用情况,还是仅总体部署令牌使用情况?对于后者,似乎应该是AzureOpenAI的功能,而不是promptflow。

ne5o7dgx

ne5o7dgx2#

抱歉引起混淆,第一个案例是我在这里想要提及的。
例如,有一个流程消耗了2个AOAI连接,每个连接有2个部署。如果promptflow能够生成类似以下的令牌使用报告会很有帮助:

"token_usage": {
    "connection_1": {
      "connection_1_deployment_1": {
        "prompt_tokens": 123,
        "completion_tokens": 456
      },
      "connection_1_deployment_2": {
        "prompt_tokens": 123,
        "completion_tokens": 456
      }
    },
    "connection_2": {
      "connection_2_deployment_1": {
        "prompt_tokens": 123,
        "completion_tokens": 456
      },
      "connection_2_deployment_2": {
        "prompt_tokens": 123,
        "completion_tokens": 456
      }
    }
  }
}
pgx2nnw8

pgx2nnw83#

从pf的Angular 来看,根据tokens来总结这些tokens的合同定义起来会很复杂。我有一个建议:如果我们能在其他节点上获取tokens的能力呢?
例如,我们提供这样一个表达式:{llm_node_1.system_metrics.usage} 来获取一个节点的使用字典,然后你可以有一个汇总节点来获取自己的字典。

相关问题