在paddle cloud上多机训练skip-gram时,不同的embedding加权计算方式速度差异很大。例如直接input_emb = input_emb + c2w_emb, 速度大概稳定是180s 一轮,如果input_emb =( input_emb + c2w_emb)/ 2,速度一下变为90s一轮,如果是input_emb =0.5 * input_emb + 0.5 * c2w_emb, 速度又变为140s一轮。 按理说这种乘除法计算速度应该不会有这么大差异的,另外我试了几次都是这样,不是不稳定的问题
2条答案
按热度按时间yhxst69z1#
请问你使用的Paddle版本是多少?PaddleCloud训练机器不是独占的吧,这个时间能稳定复现吗?
w8f9ii692#
你好,paddle应该是1.6的,时间是稳定可以复现的