ludwig 支持主动学习过程?

11dmarpk  于 3个月前  发布在  其他
关注(0)|答案(2)|浏览(74)

您的功能请求是否与问题相关?请描述。

基于当前主分支进行主动学习是否可行?任何线索都将受到高度赞赏。

relj7zay

relj7zay1#

你好,@ericxsun ,感谢你提出这个问题。
Ludwig有一个机制,可以逐步地在一批数据上训练模型。我们称之为 train_online ,你可以在这里看到它的文档:https://ludwig-ai.github.io/ludwig-docs/0.5/user_guide/api/LudwigModel/#train_online 。与红色的 train 不同之处在于,它只对提供的一批数据运行一次。
这使得它对于实现类似于以下的活动学习循环非常有用:

model = LudwigModel(...)
model.train(my_data)
for i in active_loop_steps:
  new_data = get_new_data()
  predictions = model.predict(new_data)
  most_valuable_data = active_learning(new_data, predictions)  # need to implement it yourself or use an active learning library for this
  model.train_online(most_valuable_data)

人们可能还想在旧的数据点上进行训练,以避免灾难性遗忘,并且在使用 train_online 时,也许还可以调整学习率和其他超参数来进行微调,但这就是如何使用它的概述。
这有帮助吗?

k7fdbhmy

k7fdbhmy2#

太棒了,非常感谢。我会尝试一下的。

相关问题