最近需要对Transformer网络的中间层进行可视化，便于分析网络，在此记录一些常用到的概念。常用到的方法主要是Attention Rollout和Attention Flow，这两种方法都对网络中每一层的token attentions