前沿语言智能研究中心(FLI Lab)成立于 2019 年,聚焦大语言模型的基础架构、效率重构、 可验证推理与具身世界模型四个核心方向。中心现有全职研究员 46 人、访问学者与联合培养博士生 71 人, 与国内外 12 所高校及 9 家产业实验室保持长期联合研究关系。
中心坚持“可复现、可评测、可验证”的研究准则:所有对外发布的技术报告均附带实验配置与随机种子说明, 所有公开模型均提供完整模型卡与评测脚本,所有数据集均标注采集协议、许可范围与已知偏差。 截至 2026 年 11 月,中心累计开放数据集 34 个、模型权重 21 个、 技术文档 87 份,累计下载量超过 412 万次。
中心的长期判断是:效率的极致化不会自动带来智能的深化,但智能的深化必须建立在可承受的效率之上。 因此我们同时在“把模型做小做快”和“把推理做稳做对”两端投入,并在二者的交叉点上寻找下一代基础架构。
| 研究方向 | 核心问题 | 在研项目 | 2026 进展 |
|---|---|---|---|
| 效率重构混合线性注意力 / 激活稀疏 / 低比特 | 如何在参数规模继续扩张的同时,让推理成本、长文本吞吐与部署门槛发生数量级下降 | 7 项 | 3 项已开源 |
| 长上下文与记忆256K 训练 / 符号记忆 / KV 压缩 | 长周期任务中,模型如何保持跨文件、跨会话、跨工具调用的状态一致性 | 5 项 | 2 项已开源 |
| 世界模型与具身Next-State Prediction / VLA | 语言先验能否高效迁移为物理因果先验,而非从零学习物理 | 6 项 | 1 项已开源 |
| 神经符号与可验证推理自动形式化 / 求解器协同 | 形式验证能否成为推理架构的原生组件,而非事后补丁 | 4 项 | 2 项已开源 |
| Agent 系统与协议长周期规划 / 工具调用 / 多智能体 | 在真实工具环境中,Agent 的失败模式如何被系统性度量与修复 | 5 项 | 2 项已开源 |
| 新型计算基底脉冲 / 量子 / 光子 / 储层 | 哪一种基底会最先在“每瓦有效推理”上超越数字 Transformer | 3 项 | 1 项已开源 |
| 评测与基准长周期基准 / 因果保真度 / 路由诊断 | 如何设计不被“刷榜”的基准,真实反映模型的推理与泛化能力 | 4 项 | 3 项已开源 |
2026 年最确定的技术主线是“效率”。参数规模本身不再是唯一叙事, 每 token 的有效计算量、长上下文吞吐以及推理硬件的民主化成为真正的竞争维度。 蚂蚁集团开源的 Ring-2.5-1T 给出了一个标志性信号:万亿总参数、63B 激活参数, 在混合线性注意力架构下,32K 以上长文本生成吞吐较上代提升 3 倍以上, 访存规模降低 一个数量级。这意味着智能体时代的长周期任务——跨文件代码理解、 长文档规划、多步工具调用——第一次有了在成本上可持续的基础模型支撑。
Motif 3 则从 MoE 稀疏性方向推进效率边界:314B 总参数、每 token 仅激活 13.2B, 384 个路由专家中选 8 个,配合 Grouped Differential Latent Attention 与窗口感知上下文并行, 支持 256K token 训练长度。稀疏不再是“省一点算力”的妥协, 而成为在相同硬件预算下扩展有效容量的结构性选择。 Qwen4-Max 则在注意力层面同时做两件事:Gated DeltaNet 降低长提示词的硬件开销, QSA 跳过高成本无关片段,任务完成所需 token 最高减少 35%, 编码场景节省幅度达到 49%。
更激进的一步来自量化与数值格式的底层重构。X-Ternary 将 LLM 权重压缩至 2-bit 三值状态 {-1, 0, 1},结合 2:4 结构化稀疏与硬件级动态路由, 将 70B 级模型的内存约束降低约 80%,使其可在单张消费级 GPU 上以近零延迟运行数学推理。 这指向一个明确的未来:确定性推理不必以失去精度为代价。
智源研究院在 2026 年趋势报告中做出了一个关键判断:行业共识正从语言模型转向 能理解物理规律的多模态世界模型,核心范式从 Next-Token Prediction 迁移至 Next-State Prediction(NSP)。语言模型可以是智能的入口,但“入口”本身并不等于完整的智能。 英伟达 Cosmos 3、Google DeepMind Genie 系列以及西湖大学提出的概念世界模型, 正在把“可交互世界模拟”从演示推向工程化。
在具身侧,Gemini Robotics 2.5 作为 VLA(视觉—语言—动作)模型,在灵巧操作上已“接近人类水平”; ScaleVLA 则将 VLA 规模推至 552B 参数,LIBERO-PRO 泛化成功率 从较小骨干的 31.3% 提升至 45.1%。但真正的瓶颈不在参数, 而在语言先验向物理因果先验的迁移效率:模型能否把“杯子会掉落”的语言知识, 压缩为对抓取姿态与碰撞响应的可控中间表示。
2026 年一个容易被低估但影响深远的方向,是神经符号架构从论文概念走向系统级实现。 姚期智、袁洋团队与杨植麟等人的联合工作展示了一个清晰信号:在特定数学构造任务上, 前沿大模型已经能够超过人类公开最好结果,但“探索”与“证明”之间的鸿沟仍然存在—— 模型可以猜出答案,却不一定能构造出可被形式系统接受的推理链。
X-Ternary 的路径是从数值格式与硬件层面强制因果非结合性,用 2-bit 三值状态与 intensional mathematics 消除传统 GEMM 的关联概率缺陷,使“推理过程与因果历史不可分离”。 另一条路径是自适应神经符号推理框架:LLM 负责自然语言理解与策略生成,形式逻辑求解器负责验证与搜索, 两者通过动态逻辑求解器组合进行协同。NS-Mem 将符号记忆引入多模态 Agent, 在真实多模态推理基准上带来 平均 4.35 个百分点的提升。
长上下文并不等于长记忆。中心在 2026 年将二者明确拆分为两个独立评测维度: 上下文窗口内的信息利用率,与跨会话的状态持久化能力。 前者依赖注意力与 KV 缓存压缩技术,后者依赖符号记忆、检索策略与写入淘汰机制。 我们在 NS-Mem 基础上构建了长期一致性测试集,发现当会话跨度超过 40 轮后, 纯向量记忆的实体一致性下降明显,而符号记忆 + 实体图结构的组合可将错误率降低约 31%。
在 Agent 侧,长周期任务的失败往往不是单步推理错误,而是错误累积与目标漂移。 中心提出的 LongHorizon-AgentBench 覆盖 18 类真实工具环境、平均任务步长 87 步, 用于度量模型在多步规划中的自纠偏能力。初步结论是:显式的中间状态校验点 比单纯增加模型规模更能提升长周期任务成功率。
类脑脉冲语言模型。中科院自动化所瞬悉 2.0 已开源 5B 语言模型与视觉语言模型, 采用双空间稀疏注意力架构;SpikingLM 报告能耗降低 57.9%,同时在 GLUE 上保持有竞争力的表现。 脉冲计算的真正意义不是“模仿大脑”,而是事件驱动推理在边缘侧的常数级计算成本—— 这与 Agent 的持续运行需求天然契合。
量子—语言模型混合工作流。QCR-LLM 将推理聚合重新表述为高阶无约束二值优化问题, 并接入真实量子计算机;QART 架构让 LLM 承担理解与生成,量子模块参与组合优化求解, 再将结果交回模型继续推理。短期内量子优势在 LLM 主路径上并不现实, 但在结构化搜索、约束满足与组合推理子任务上,量子模块可能成为“外部协处理器”。
储层计算与物理基底语言模型。埼玉大学的工作表明,固定循环动力学 + 轻量可训练读出层 可以在语言建模上取得有竞争力的预测性能,且天然适合光子、神经形态等物理硬件实现。 这提出一个根本性问题:如果序列处理系统的大部分不需要训练,LLM 的训练经济学是否需要重写?
异构推理栈(中心长期赌注)。我们认为未来不属于单一计算基底,而属于 异构推理栈:不同子任务路由到脉冲、量子、光子或数字 Transformer, 由语言模型本身充当编排层。效率的极致化不会自动带来智能的深化, 但智能的深化必须建立在可承受的效率之上。
- 2026-11-18中心发布《效率重构:混合线性注意力与激活稀疏的协同设计》技术报告 v1.2,新增 256K 训练长度下的完整吞吐曲线 NEW
- 2026-11-12FLI-MoE-32B-A5.6 模型权重开放下载,同步发布完整模型卡与路由诊断工具链 HOT
- 2026-11-05LongHorizon-AgentBench v2.0 正式发布,覆盖 18 类工具环境、平均任务步长 87 步
- 2026-10-28中心与产业联合实验室完成 2-bit 三值状态推理的第三方复现,内存约束降低约 80%
- 2026-10-19《从 Next-Token 到 Next-State:语言先验向物理因果的迁移评估框架》白皮书 v1.0 上线
- 2026-10-08具身智能工作组完成 LIBERO-PRO 泛化评测,VLA 骨干规模与泛化成功率关系数据已公开
- 2026-09-26可验证推理系统栈技术报告 v0.9 发布,含神经符号架构的延迟—正确性权衡完整实验
- 2026-09-15符号记忆增强的多模态 Agent 方法在真实推理基准上取得平均 4.35 个百分点提升
- 2026-09-02脉冲语言模型能耗评测结果公布:在 GLUE 保持竞争力的前提下能耗降低 57.9%
- 2026-08-21中心开放 EdgeSpike-Corpus-9B 脉冲预训练语料 token 化版本,容量 78 GB 大文件
| 数据集名称 | 内容说明 | 格式 | 大小 | 更新时间 | 下载 |
|---|---|---|---|---|---|
| LongHorizon-AgentBench v2.0 18 类工具环境 · 平均 87 步任务 | 长周期 Agent 任务基准,含完整轨迹、工具调用日志与自纠偏标注 | JSONL | 12.4 GB | 2026-11-05 | 下载 校验 |
| FLI-CausalMath-56K 推理链自动形式化标注 | 5.6 万道数学构造题,每题附带可被形式系统接受的完整推理链 | JSON | 8.7 GB | 2026-10-30 | 下载 校验 |
| PhysState-Align-1.2M 语言—物理状态对齐大文件 | 120 万条“语言描述—物理状态—动作响应”三元组,覆盖 9 类日常操作场景 | Parquet | 36.0 GB | 2026-10-22 | 下载 镜像 |
| SymbolicTrace-380K 神经符号推理轨迹 | 38 万条 LLM—求解器协同推理轨迹,含失败案例与回溯路径 | JSONL | 15.2 GB | 2026-10-14 | 下载 校验 |
| EdgeSpike-Corpus-9B 脉冲模型预训练语料大文件 | 90 亿 token 的公开语料脉冲编码版本,含事件流时间戳与稀疏索引 | Bin | 78.0 GB | 2026-08-21 | 下载 镜像 |
| MoE-Router-Diag-2.4M 专家路由诊断 | 240 万条路由决策记录,含专家负载分布、专业化度量与溢出样本 | Parquet | 5.1 GB | 2026-11-12 | 下载 校验 |
| LowBit-Fidelity-Bench 低比特推理保真度评测 | 覆盖 2/3/4-bit 量化配置的推理保真度评测集,含参考答案与形式化验证脚本 | JSON | 3.3 GB | 2026-10-28 | 下载 校验 |
| MultiEmbodied-Dialog-870K 具身多轮对话大文件 | 87 万条具身场景多轮对话,含指代消解标注与空间关系标注 | JSONL | 22.0 GB | 2026-09-18 | 下载 校验 |
| ReasonVerify-Hard-12K 高难可验证推理 | 1.2 万道高难推理题,全部提供机器可检验的最终证明或反例 | JSON | 0.9 GB | 2026-09-09 | 下载 校验 |
| TokenEfficiency-Trace-4M token 效率追踪 | 400 万条任务完成所需的 token 消耗追踪记录,支持效率—正确性联合分析 | Parquet | 11.6 GB | 2026-11-08 | 下载 校验 |
| LongMem-Consistency-220K 长期记忆一致性 | 22 万条跨 40 轮以上会话的实体一致性测试样本,含符号记忆与向量记忆对照 | JSONL | 7.4 GB | 2026-10-06 | 下载 校验 |
| Synthetic-Reliability-Set-6M 合成数据可靠性大文件 | 600 万条多轮生成的合成数据,附带质量分级标签与污染检测结果 | Parquet | 28.5 GB | 2026-08-30 | 下载 镜像 |
| 模型名称 | 架构与用途 | 参数 | 格式 | 大小 | 许可 | 下载 |
|---|---|---|---|---|---|---|
| FLI-MoE-7B-A2.1 稀疏基线 · 研究复现 | 64 专家选 4,混合线性注意力,面向研究复现的轻量稀疏语言模型基线 | 7B / 2.1B | safetensors | 14.2 GB | FLI-Research-1.0 | 权重 模型卡 |
| FLI-MoE-32B-A5.6 稀疏主力 · 长上下文大文件 | 256 专家选 8,支持 256K 训练长度,面向长文档与代码理解 | 32B / 5.6B | safetensors | 64.0 GB | FLI-Research-1.0 | 权重 模型卡 |
| FLI-WorldBridge-3B 语言→物理状态桥接 | 语言先验到物理状态预测的桥接模型,用于具身规划与仿真对齐研究 | 3B | safetensors | 6.1 GB | FLI-Research-1.0 | 权重 推理代码 |
| FLI-SpikeLM-1.5B 脉冲语言模型 | 双空间稀疏注意力 + 事件驱动推理,面向边缘侧持续运行场景 | 1.5B | Bin | 3.2 GB | FLI-Research-1.0 | 权重 模型卡 |
| FLI-Ternary-70B-Q2 2-bit 三值状态大文件 | 权重压缩至 {-1,0,1},2:4 结构化稀疏,单卡可运行数学推理 | 70B | safetensors | 17.8 GB | FLI-Research-1.0 | 权重 推理内核 |
| FLI-Symbolic-R1-8B 神经符号推理 | 面向形式化推理链生成的 8B 模型,配套求解器协同调用接口 | 8B | safetensors | 16.3 GB | FLI-Research-1.0 | 权重 模型卡 |
| FLI-Embed-Multilingual-560M 多语言向量 | 覆盖 42 种语言的检索向量模型,面向长文档与代码检索 | 560M | safetensors | 1.1 GB | Apache-2.0 | 权重 模型卡 |
| FLI-Router-1.3B 专家路由诊断模型 | 用于分析 MoE 路由决策与专家专业化度量的辅助模型 | 1.3B | safetensors | 2.7 GB | FLI-Research-1.0 | 权重 模型卡 |
| FLI-WorldModel-Eval-2B 世界模型评测代理 | 自动评估世界模型状态预测一致性的代理模型,支持批量评测流水线 | 2B | safetensors | 4.3 GB | FLI-Research-1.0 | 权重 评测脚本 |
| FLI-Agent-Planner-12B 长周期规划大文件 | 面向 80 步以上任务的长周期规划模型,含中间状态校验点生成能力 | 12B | safetensors | 24.6 GB | FLI-Research-1.0 | 权重 模型卡 |
| 文档名称 | 类型 | 版本 | 大小 | 更新时间 | 下载 |
|---|---|---|---|---|---|
| FLI-2026-01 · 效率重构:混合线性注意力与激活稀疏的协同设计 | 技术报告 | v1.2 | 4.8 MB | 2026-11-18 | |
| FLI-2026-02 · 从 Next-Token 到 Next-State:语言先验向物理因果的迁移评估框架 | 白皮书 | v1.0 | 6.2 MB | 2026-10-19 | |
| FLI-2026-03 · 可验证推理系统栈:神经符号架构的延迟—正确性权衡 | 技术报告 | v0.9 | 3.1 MB | 2026-09-26 | |
| FLI-2026-04 · Agent 长周期任务基准(LongHorizon-AgentBench)规范 | 基准规范 | v2.0 | 2.4 MB | 2026-11-05 | PDF JSON |
| FLI-2026-05 · 低比特推理下的因果保真度:2-bit 三值状态的逻辑边界 | 立场论文 | v1.0 | 1.9 MB | 2026-08-12 | |
| FLI-2026-06 · 长期记忆一致性:符号记忆与向量记忆的对照研究 | 技术报告 | v1.0 | 2.8 MB | 2026-10-06 | |
| FLI-2026-07 · 异构推理栈:脉冲、量子与储层计算的任务路由初探 | 预印本 | v0.7 | 2.2 MB | 2026-11-09 | |
| FLI-2025-06 · 稀疏 MoE 训练稳定性与专家专业化度量 | 技术备忘 | v1.1 | 1.2 MB | 2026-06-30 |
| 资料名称 | 类型 | 格式 | 大小 | 更新时间 | 下载 |
|---|---|---|---|---|---|
| 2026 年度研究报告(年报合集,含全部在研项目摘要) | 年报 | 18.4 MB | 2026-11-01 | 下载 | |
| 神经符号系统栈:从自动形式化到求解器协同(会议演讲) | 幻灯片 | PPTX | 46.7 MB | 2026-09-26 | 下载 |
| 效率重构系列讲座(共 6 讲,含字幕与讲稿) | 视频 | MP4 | 1.2 GB | 2026-10-15 | 下载 讲稿 |
| FLI-MoE-32B-A5.6 完整实验复现镜像 | 复现包 | TAR | 9.8 GB | 2026-11-12 | 下载 说明 |
| LongHorizon-AgentBench 评测环境 Docker 镜像 | 复现包 | TAR | 6.4 GB | 2026-11-05 | 下载 说明 |
| 世界模型状态预测评测工具链(含示例配置) | 工具包 | ZIP | 312 MB | 2026-10-22 | 下载 |
| 模型卡与系统卡合集(21 个模型,统一索引) | 文档集 | ZIP | 86 MB | 2026-11-12 | 下载 |
| 资源许可与合规说明(数据集 / 模型 / 文档统一许可条款) | 说明 | 640 KB | 2026-07-01 | 下载 | |
| 数据中心网络抓包与带宽压测数据集(大文件,供部署参考) | 补充数据 | PCAP | 14.7 GB | 2026-08-05 | 下载 镜像 |
中心长期开放三类合作通道:联合研究项目(面向高校与科研机构,周期 1–3 年)、 资源共建(数据集、基准与工具链的共同维护)、 访问学者与博士后(每年 2 批,分别在 3 月与 9 月入学)。 我们尤其欢迎在效率架构、形式化推理、具身世界模型三个方向有扎实工程或理论积累的申请者。
计算机系 · 联合实验室
人工智能研究院
类脑智能方向
趋势研究合作
形式化验证组
具身智能中心
推理硬件与编译
长上下文系统
| 事项 | 联系邮箱 | 说明 |
|---|---|---|
| 资源与下载支持 | resources@fli-lab.org | 下载失败、校验不一致、镜像节点申请 |
| 商业授权 | license@fli-lab.org | 模型与数据集的商业使用授权、定制化合作 |
| 联合研究 | collab@fli-lab.org | 联合项目申报、资源共建、访问学者申请 |
| 学术交流 | seminar@fli-lab.org | 讲座邀请、论文预印本交流、评测基准共建 |