题目内容

在混合专家大模型中，为了节省算力，并不是所有的神经网络层都会处理所有的$Token$。

当系统包含$E$个专家时，对于输入的每一个$Token$，路由器会给各个专家打分，并只将该$Token$分配给得分排名前$K$的专家。同时，为了防止某个专家被分配了过多的Token导致显存溢出，系统为每个专家设置了最大处理容量$C$。如果某个专家达到了容量上限，后续被路由到该专家的Token将被强制“掩蔽”并丢弃。

给定$N$个$Token$对$E$个专家的原始打分矩阵$S$（维度$N \times E$），具体流程如下：

1. $Top-K$路由掩码生成：对于打分矩阵的每一行$i$（代表第$i$个Token），找出得分排名前$K$的专家索引。生成一个初始的$N \times E$二进制路由掩码矩阵$M^{(1)}$。