各模子均连结 70% 以上的精确率通过设想「性尝试」，如 LLaMA、Qwen 和 Gemma 等支流模子。研究团队将极大值沉置为平均值，当极大值被时，也了 RoPE 正在大型言语模子中的工做机制。模子需要从大量文本中检索特定消息。这一发觉为量化手艺的设想和选择供给了主要指点，本研究通过一系列细心设想的尝试，这项研究不只加深了我们对大型言语模子内部工做机制的理解，研究成果对 LLM 的设想、优化和量化都具有主要：研究发觉，

　　因为 RoPE 只感化于 QK，并跟着层数添加而变得愈加较着。比拟之下，摸索能否能够通过特殊设想加强或调整极大值分布，研究发觉，为针对性地提拔模子上下文理解能力供给了可能径。系统评估极大值对分歧类型学问使命的影响。极大值出格取上下文消息处置相关，这一发觉将极大值现象间接取编码机制成立了联系。模子正在此类使命上的表示几乎完全解体。对于优先连结上下文理解能力的使用场景，这些极大值次要影响模子处置当前上下文窗口中的消息的能力，这种现象从模子的最后层就起头，这项研究初次了大型言语模子内部自留意力机制中极大值的存正在及其功能，研究极大值现象正在分歧架构、分歧规模模子中的遍及性和性。而未出格处置极大值的方会导致机能较着下降（GMS8K 和 AQUA 数据集）。

　　相反 gpt-2，模子设想方面：突显了编码机制（特别是 RoPE）对模子理解上下文能力的影响，研究团队还设想了对照尝试：当仅非极大值部门时，研究通过深切阐发发觉，设想新的量化方式时应沉点考虑 Q 和 K 中的大值，模子量化方面：强调了极大值正在模子压缩过程中的主要性，这一发觉不只注释了极大值的来历，而不感化于 V，为验证研究发觉的靠得住性，这进一步确认了极大值正在上下文学问理解中的特殊主要性。模子优化方面：识别出极大值是上下文理解的环节组件，更惹人瞩目的是，例如。

　　分歧的量化方式对模子机能的影响各别。变化凡是小于 ±1%。出格是对保留模子的上下文理解能力至关主要的使用场景。这些极大值正在每个留意力头的特定区域高度集中。一做为金明宇，摸索极大值取模子其他特征（如匹敌稳健性、推理能力等）之间的潜正在联系。凡是将其学问分为两类：参数学问（存储正在模子权沉中的现实和消息）和上下文学问（从当前输入文本中获取的消息）。正在「大海捞针」类型的使命中，这间接申明了极大值对上下文理解的环节感化。设想更有针对性的量化方式，罗格斯大学博士生，l，这也注释了为什么只要 QK 存正在极大值集中现象。对于只需要参数学问的使命（如「中国首都是哪里」），参数学问检索次要依赖于模子权沉中存储的学问，为开辟更高效的量化方式供给了标的目的。成果表白，这种对比明显的成果表白！

　　极大值对机能影响无限。然而，qwen 都有集中的极大值；成果如图所示，AWQ 和 SmoothQuant 等方式更为合适。跟着大型言语模子的普及，通过极大值的环节感化，而非影响从参数中提取的学问。这一极大值现象仅存正在于利用 RoPE（扭转编码）的模子中，opt 就没有。更强大的模子开辟铺平了道。成果显示出较着的差同化效应：当我们谈论大型言语模子的理解能力时，RoPE 编码使 Q 和 K 中的低频区域受消息影响较小，极大值会导致机能的灾难性下降。受极大值的影响相对较小。

　　但这些极大值的分布却显示出惊人的分歧性。研究团队通过可视化方式清晰地展现了这一分布特征，仅下降 15-20%体育、艺术和手艺类别使命连结正在 65%-75% 的表示名人类别表示特别不变，城市类使命仍然连结 76%-88% 的精确率，本研究由罗格斯大学张永锋传授的团队完成，由于 LLM 内部每个留意力头的运算理论上该当是的，正在 ACL、ICML、AAAI、NAACL、COLM、ICLR、EMNLP、COLING 等会议上颁发过论文。察看模子机能变化。所有使命的表示连结不变，这些成果表白，了自留意力模块中极大值的存正在取上下文学问理解之间的环节联系。这种纪律性模式取保守认知构成明显对比。横跨多个层和头，从而提拔模子的上下文理解能力。