deepseektoken长度（deep socket）

DeepSeek是一款基于AI技术的智能搜索引擎，结合深度学习与自然语言处理，提供精准、高效的搜索体验。探索DeepSeek，感受未来智能搜索的无限可能！

本文目录一览：

• 1、excel两列互换位置
• 2、Qwen1.5-MoE开源!魔搭社区推理训练最佳实践教程来啦!
• 3、大模型结构基础(五):注意力机制的升级

excel两列互换位置

选择要互换位置的数据范围。 右键单击选中的数据范围，选择“剪切”。 将光标移动到要互换位置的单元格，右键单击，选择“粘贴”。 在弹出的选项中，选择“转置”，然后点击“确定”。这样，选中的数据将会在原来的位置上被剪切，然后在新的位置上被粘贴，并且互换了位置。

右击图表区域。点击【选择数据】选项，打开【选择数据源】对话框。在【选择数据源】对话框左侧的【图例项（系列）】下，单击第一个系列（图中的系列1）。单击右侧的【下移】按钮，最后单击【确定】即可实现两列数据改换位置。

在Excel中，若要互换两列位置，可先选中其中一列，鼠标指针移至列标边缘，待指针变为十字箭头时，按住Shift键拖动该列至另一列旁，松开鼠标即可实现两列互换。

在Excel中交换两列的位置，可以按照以下步骤操作。首先，选择需要移动的那一列，即B列。将鼠标移动到B列的列标题上，直到鼠标指针变为一个带有双向箭头的十字形，这表示你可以进行拖动操作。在确认鼠标指针正确显示后，按住键盘上的Shift键，然后拖动B列到A列的位置。

在excel中调换两列位置有两种方法：shift法和剪切粘贴法。shift法。在excel空文件中输入需要进行调换的两列数据，使用鼠标左键按住拖动选择其中一列数据，按住shift键，将鼠标移动至数据列边框处，拖动到另一列处松手即可互换两列位置。剪切粘贴法。

打开需要处理的Excel表格，找到需要换行的两列数据。选中其中的一列数据。此时鼠标是“十”字形。按住shift键+鼠标左键，此时在Excel表格中的鼠标形状会发生如图所示的变化。拖动鼠标，此时注意在表格界面处会出现一个虚线，这是表格移动后的位置。

Qwen1.5-MoE开源!魔搭社区推理训练最佳实践教程来啦!

Qwen5-MoE模型采用特别设计的MoE架构，包括DeepSeek-MoE和DBRX等方法，其finegrained experts有效利用FFN层到MoE层的转换，将单个FFN分割成多个独立的expert，实现效率与效果的最优结合。

微调框架：魔搭社区的微调框架SWIFT全面支持Qwen5全系列模型的微调与推理。训练参数与脚本：以自我认知任务为例，提供详细的训练参数配置与测试脚本，确保训练过程的高效与平滑。训练与推理效果：展示出模型在自我认知与通用对话任务上的强大能力。

Qwen5-110B-Chat：modelscope.cn/models/qw... Qwen5-110B：modelscope.cn/models/qw... 模型推理所需代码与显存要求如下：显存要求：支持4卡A100，230G显存。 在模型训练方面，魔搭社区的微调框架SWIFT已全面支持Qwen5全系列模型的微调与推理。

环境搭建 模型与词表文件获取 方法1：通过魔塔社区手动下载通义千问5-7B-Chat模型。方法2：使用命令终端配合git-lfs进行高效下载。

大模型结构基础(五):注意力机制的升级

基于Token位置的方案包括GPT3采用的局部带状稀疏注意力，通过在Transformer层中交替使用稠密和局部带状稀疏的注意力模式，实现计算复杂度的降低。GPT3使用的局部注意力模式，简化了Transformer处理序列的长度限制，同时也为大模型的外推性提供了“超强基线”。

KV-Cache：在自回归模型中，利用已计算的key和value缓存，减少每一步生成时的计算开销。 Multi-Query Attention：MQA通过共享K和V转换减少参数和操作数量，简化了多头注意力计算。 Grouped-Query Attention：作为Multi-head和Multi-Query的折中方案，通过减少head的数量和复制K和V来优化计算效率。

跨模态性能：UniRepLKNet实现了感受野、特征抽象与深度模型表示能力的平衡，展现出跨模态的先进性能，并在大规模时序预测任务中表现出色。StripedHyena 混合结构：StripedHyena由TogetherAI发布，它采用了一种独特的混合结构，结合门控卷积与注意力机制，形成Hyena运算符。

注意力机制：核心：Transformer架构的基础，使模型能够高效处理序列数据，捕捉长距离依赖关系。自监督学习：核心：利用未标注数据进行模型训练，提升模型泛化能力。应用：如MAE模型，通过自监督学习有效训练大型视觉模型。对比学习：核心：通过对比正样本和负样本，学习数据间的相似性和差异性。

空间方向的Attention建模的是空间位置的重要性，结构如下：首先将通道本身进行降维，分别获取最大池化和均值池化结果，然后拼接成一个特征图，再使用一个卷积层进行学习。这两种机制，分别学习了通道的重要性和空间的重要性，还可以很容易地嵌入到任何已知的框架中。