探新AI-DRIFT 把 “读” 和 “想” 拆成了两条路,就让长文档推理速度翻了倍

大模型处理长文档为什么总是慢半拍?根源不在模型本身,在它的 “阅读方式”。

现行主流方案,无论开源还是商用,面对几十页合同、三五份行业报告,全部是同一套流程:原始素材一次性灌入,同一个模型既当信息筛选员,又当逻辑推演师。两类任务算力需求天差地别,却挤在同一条管道里跑。大量资源消耗在过滤无关段落上,真正留给深度推理的算力所剩无几。

行业里各种优化手段都试过了,但没一个真正触达病灶:

  • 层级分流早退:只在模型内部省几层计算,读和想依然绑在一起;
  • 生成提速调度:只管输出快慢,前置冗余素材一点没少;
  • 蒸馏和参数适配:动的是训练阶段,推理流程照旧;
  • 事实校验工具:在本就不够快的流程上再叠一轮检查,长文本场景雪上加霜。

所有方案都绕开了最核心的矛盾:“信息读取” 和 “逻辑推演” 压根不应该由同一套网络同时承担。

DRIFT来解决核心思路:先摘菜,再炒菜

DRIFT 框架不碰模型本身,不调权重、不改结构、不依赖专用硬件,仅依靠三层调度代码,将推理流程底层拆为两条独立链路,搭配异步调度器并行作业。

轻量化萃取单元(专职摘菜)

仅负责从原始文档提取有效信息:关键实体、关联关系、有效条件,过滤废话、重复、无关内容;不做任何逻辑推导,算力消耗极低,支持几十份文档并行提纯。

主逻辑推演单元(专心炒菜)

不再直面杂乱原始文本,仅接收萃取完成的结构化知识片段;全部算力集中用于因果推导、条件关联、方案整合,消除杂质干扰,推理连贯性大幅提升。

异步调度器(双链路协同)

萃取单元持续处理新素材,推演单元收到有效片段即可分段计算,彻底消除传统模式 “全文读完才能思考” 的长时间阻塞。全程属于外置推理优化,无需词元改造、多模态适配、训练调整,与市面上绝大多数软件优化方案无技术重叠。

我们来看看实测数据

先说万词级多文档分析。团队直接扔进去20多份行业研报,加起来快三万字。以前这种量级,模型读到一半就开始“失忆”,前后逻辑接不上,推理延迟动不动就奔着分钟级去。套上DRIFT之后,萃取单元先把每份报告的核心观点、关键数据、关联关系摘出来,主模型只负责在干净知识片段上做推演。总耗时压了将近一半。

来看合同审查。拿八百多份真实商业合同做批量抽检,里面大量条款是模板化套话、免责声明、格式描述,真正需要人工级推演的风险条款占比不到四成。萃取单元直接把六成以上的废话段落原地过滤掉,主模型面对的全是有效条款,逻辑推演那块儿的时间直接砍半。

本地部署这是最让人意外的。实验室专门拿了台老旧的办公电脑做测试,没显卡,只有普通CPU。以前这种设备打开一个几百页的PDF都费劲,更别说跑推理了。装上Mini-DRIFT之后,萃取单元在CPU上跑得稳稳的,读一份上千页的工程档案,翻页、摘录、提取关键关系全程没有明显卡顿。全程没碰任何专用硬件,纯靠流程拆分就把事情办了。

三个场景跑下来,结论很一致:让模型读得更少,想得更深。DRIFT不挑算力、不挑设备,只干一件事——让模型不再傻读全文,而是摘干净了再想。效果嘛,上面这几组数摆在这儿,比什么宣传都实在。