环境
- python 3.7.5
- paddle = 1.7.2
问题
如何使用Lodtensor变量做多头自注意力机制
- 切分头的时候，需要reshape，Lodtensor如何使用reshap
- 交换维度时，Lodtensor又该如何处理呢
现状
我有一t向量shape = -1， 256， 128
经过
t = fluid.layers.sequence_unpad(t, length=seq_len_used) 转化为lodtensor对象 ， shape = -1， 128
想经过一层attention，该如何处理，谢谢 大佬 help
2条答案
按热度按时间ca1c2owp1#
可以试下在需要做多头自注意力前先使用
sequence_pad将LoDTensor转换为padding tensor，使用padding数据完成多头自注意力ia2d9nvy2#
好的，谢谢，在训练过程如果用sequence_pad和unsequence_pad，在Lodtensor和tensor之间频繁相互转化，对训练效果会有影响吗