注意力权重转换问题

[noob-ctrl]

本代码有关注意力权重的转换代码如下：

看其他的一些权重转换代码，针对于注意力权重有进行视图维度转换的操作，如下所示：

二者都会在后续再进行chunk来进行tensor切分操作，但两者的操作结果不一样吧？

请问本代码为什么没有考虑视图维度转换呢？

[noob-ctrl]

@li-yi-dong Can you help me answer the above question, or is there a bug in the code?

[li-yi-dong]

这个仓库里面Attention 使用QKV 的地方做了相应的修改
https://github.com/alibaba/Megatron-LLaMA/blob/main/megatron/model/transformer.py#L553