您的功能请求是否与问题相关?请描述。
根据我们如何使用提示流,有时我们需要将可选整数传递到流程中。原因是我们区分数字缺失( None
)和其默认值( 0
)。截至今天,提示流不支持可选整数输入类型。可以通过运行以下命令进行验证:
pf flow init --flow foo
- 将
text
输入的类型更改为int
- 将
data.jsonl
中的text
值更改为null
- 运行
pf run create --flow foo --data foo/data.jsonl --column-mapping text='${data.text}' --stream
描述您希望的解决方案
提示流应支持可选数据类型,并具有表达原始输入值缺失的能力。
描述您考虑过的替代方案
作为临时解决方法,我们目前将缺失的整数表示为在我们的上下文中没有意义的整数(例如,对于始终预期为正数的整数,使用 -1
)。
3条答案
按热度按时间wlzqhblo1#
感谢您的反馈,我们将对此进行讨论。如果您能提供更多关于您使用场景的详细信息,那就更有帮助了。请问您能否简要描述一下您的使用场景?
368yc8dk2#
当然。这个功能将应用于我们目前如何使用评估流程。我们将数字从主流程传递到我们的评估流程,然后基于这些评估指标进行评估。一个例子是用于主流程的令牌(提示、完成)数量。其他数字可能与我们用RAG检索到的记录有关。
在大多数情况下,我们希望能够区分
None
(例如,如果主流程使用了没有RAG的执行路径),和0
(例如,如果没有检索到记录,但我们预期会使用RAG,或者如果我们最终没有访问LLM,因此由于执行了不涉及LLM的路径而没有消耗令牌)。我们的输出评估指标也是如此:有时我们会跳过计算某些行的指标,在这种情况下,我们不希望得到
0
的分数,而是希望得到None
的分数(因为评估没有“失败”,但根本没有执行)。8yparm6h3#
感谢您的反馈,非常感激。今天早上我们就您的案例进行了简短的讨论,对于流程的可选(或者我们称之为'可为空')输入,我们之前已经讨论过,但目前没有计划支持它,因为可为空数据是一个非常基本的功能,与许多相关功能的设计息息相关,这是一个需要谨慎设计的长期工作,对于给您带来的不便表示抱歉。我们会将此作为一个长期功能请求进行跟踪,如果将来我们打算支持这个功能,我们会在这里更新。