下面是一个简化的场景：
n需要来自同一源的相同原始数据的业务流。使用kafka（普通kafka管道）接收数据，并将数据放在hdfs上，在hdfs上，每个流的原始数据都会触发自动质量检查流。所有n个流可能有不同的数据质量标准。例如，当原始数据转换为所需的模式时，它们可能需要对原始数据应用不同的日期和时间格式。
处理未能满足业务流质量测试的kpi的最佳方法是什么？
选项包括：
全部失败-通知源数据提供程序并等待固定数据。然后重新摄取并运行所有n组质量检查。
创建一个分支-意味着n个未通过质量检查的业务流中的k个将等待其固定数据集，而通过的n-k将处理当前数据集。
对未通过某些业务流质量检查的条目进行标记，并将其放入特殊队列中，以便手动处理/修复。对错误条目的数量应用一些规则和阈值（仅就需要通过此队列并分析和修复有问题条目的团队的能力而言）
以上哪种方法（如果有的话）是最明智的？当许多拥有不同质量标准的消费者使用相同的数据时，是否有处理这种情况的模式或最佳实践？理想情况下，我会避免重复相同的数据，这意味着为每个使用者重新摄取固定的数据集（n-不是最坏的情况，因为对n个用户中的一个进行修复可能会导致其他用户出现问题，而这些问题在之前是正常的。因此，从理论上讲，这个过程可能是无止境的）。