当将表示模型与零样本主题列表一起添加时,bertopic版本0.16.0以失败结尾,

vnjpjtjt  于 3个月前  发布在  其他
关注(0)|答案(3)|浏览(92)

从bertopic库中导入BERTopic
2024-05-02 10:26:56,345 - BERTopic - Zeroshot Step 2 - 已完成✓
2024-05-02 10:26:56,346 - BERTopic - Zeroshot Step 3 - 将聚类主题与零样本模型结合
KeyError: '-1'
文件,第18行
1 from bertopic import BERTopic
3 topic_model = BERTopic(
4
5 # Pipeline models
(...)
15 verbose=True
16 )
---> 18 topics, probs = topic_model.fit_transform(docs, embeddings)
文件/local_disk0/.ephemeral_nfs/envs/pythonEnv-c320d35e-2ba0-4086-9066-6452698cd8ba/lib/python3.11/site-packages/bertopic/_bertopic.py:3150, in BERTopic.merge_models(cls, models, min_similarity, embedding_model)
3147 merged_topics["topic_labels"][str(new_topic_val)] = selected_topics["topic_labels"][str(new_topic)]
3149 if selected_topics["topic_aspects"]:
-> 3150 merged_topics["topic_aspects"][str(new_topic_val)] = selected_topics["topic_aspects"][str(new_topic)]
3152 # Add new embeddings
3153 new_tensors = tensors[new_topic - selected_topics["_outliers"]]
topic_model = BERTopic(

Pipeline models

embedding_model=embedding_model,
umap_model=umap_model,
hdbscan_model=hdbscan_model,
vectorizer_model=vectorizer_model,
zeroshot_topic_list=zero_shot_topics_list,
zeroshot_min_similarity=.8,
representation_model=representation_model,

Hyperparameters

top_n_words=10,
verbose=True
)
topics, probs = topic_model.fit_transform(docs, embeddings)

nkkqxpd9

nkkqxpd91#

这确实是0.16.0的一个问题,但在0.16.1中可能会修复,但我不确定是否有效。目前有一个关于0.16.1的PR开放,它修复了另一个问题。

qc6wkl3g

qc6wkl3g2#

我使用0.16.0版本的原因是零样本在0.16.1版本上出现了故障。我已经看到那里已经有关于这个问题的案例了。

lstz6jyr

lstz6jyr3#

你尝试过使用我上面提到的0.16.1版本和PR吗?我认为这应该能解决你的问题。

相关问题