promptflow [功能请求] 支持可选数据类型

yptwkmov  于 6个月前  发布在  其他
关注(0)|答案(3)|浏览(63)

您的功能请求是否与问题相关?请描述。

根据我们如何使用提示流,有时我们需要将可选整数传递到流程中。原因是我们区分数字缺失( None )和其默认值( 0 )。截至今天,提示流不支持可选整数输入类型。可以通过运行以下命令进行验证:

  • pf flow init --flow foo
  • text 输入的类型更改为 int
  • data.jsonl 中的 text 值更改为 null
  • 运行 pf run create --flow foo --data foo/data.jsonl --column-mapping text='${data.text}' --stream
    描述您希望的解决方案

提示流应支持可选数据类型,并具有表达原始输入值缺失的能力。

描述您考虑过的替代方案

作为临时解决方法,我们目前将缺失的整数表示为在我们的上下文中没有意义的整数(例如,对于始终预期为正数的整数,使用 -1 )。

wlzqhblo

wlzqhblo1#

感谢您的反馈,我们将对此进行讨论。如果您能提供更多关于您使用场景的详细信息,那就更有帮助了。请问您能否简要描述一下您的使用场景?

368yc8dk

368yc8dk2#

当然。这个功能将应用于我们目前如何使用评估流程。我们将数字从主流程传递到我们的评估流程,然后基于这些评估指标进行评估。一个例子是用于主流程的令牌(提示、完成)数量。其他数字可能与我们用RAG检索到的记录有关。
在大多数情况下,我们希望能够区分 None (例如,如果主流程使用了没有RAG的执行路径),和 0 (例如,如果没有检索到记录,但我们预期会使用RAG,或者如果我们最终没有访问LLM,因此由于执行了不涉及LLM的路径而没有消耗令牌)。
我们的输出评估指标也是如此:有时我们会跳过计算某些行的指标,在这种情况下,我们不希望得到 0 的分数,而是希望得到 None 的分数(因为评估没有“失败”,但根本没有执行)。

8yparm6h

8yparm6h3#

感谢您的反馈,非常感激。今天早上我们就您的案例进行了简短的讨论,对于流程的可选(或者我们称之为'可为空')输入,我们之前已经讨论过,但目前没有计划支持它,因为可为空数据是一个非常基本的功能,与许多相关功能的设计息息相关,这是一个需要谨慎设计的长期工作,对于给您带来的不便表示抱歉。我们会将此作为一个长期功能请求进行跟踪,如果将来我们打算支持这个功能,我们会在这里更新。

相关问题