Develata's Space

Appearance

2026-10-15 ​

该研究首次系统推导文本、视觉、音频三种模态的数据混合缩放定律，通过268次实验揭示模态特定计算最优、数据重复上限及跨模态干扰不对称性，为多模态大模型预训练数据配比提供理论指导。 Apertus 1.5发布，将完全开放文本模型扩展为多模态推理模型，新增图像音频理解，上下文窗口扩至262K，8B模型数学推理提升20分，开放权重、数据与训练配方，推动开放基础设施替…

Scaling Laws for Multimodal Data Mixtures 82 ​

  • Tags: 多模态 模型训练 研究发布

  • Source: arXiv Computation and Language | 阅读原文

[摘要]
该研究首次系统推导文本、视觉、音频三种模态的数据混合缩放定律，通过268次实验揭示模态特定计算最优、数据重复上限及跨模态干扰不对称性，为多模态大模型预训练数据配比提供理论指导。

Apertus 1.5: From Open Text Models to Open Multimodal Reasoners 82 ​

  • Tags: 模型发布 多模态 开源生态 推理优化

  • Source: arXiv Computation and Language | 阅读原文

[摘要]
Apertus 1.5发布，将完全开放文本模型扩展为多模态推理模型，新增图像音频理解，上下文窗口扩至262K，8B模型数学推理提升20分，开放权重、数据与训练配方，推动开放基础设施替代少数供应商。

DuoDiscover: Scaling Autonomous Discovery Beyond the Evaluation Bottleneck 82 ​

  • Tags: 自主发现 推理优化 芯片设计 研究突破

  • Source: arXiv Computation and Language | 阅读原文

[摘要]
DuoDiscover提出联合优化目标与代理评估器的方法，突破自主发现中评估成本瓶颈，在软件和芯片设计上超越人类专家与AlphaEvolve，展示自主工程优化的新前沿。

Full-duplex Spoken Language Modeling with Discrete Diffusion 82 ​

  • Tags: 语音模型 模型发布 推理优化 智能体

  • Source: arXiv Computation and Language | 阅读原文

[摘要]
Diffuplex 提出基于离散扩散的全双工语音语言模型，通过分离“何时说”与“说什么”，实现高语言智能与低延迟并行生成，解码速度远超自回归模型，为实时语音智能体提供新范式。

Tev: Scaling Long-Horizon Agentic Environments with Dense Progress Rewards 82 ​

  • Tags: 智能体 数据集 模型发布 研究进展

  • Source: arXiv Computation and Language | 阅读原文

[摘要]
新研究提出Tev-Gym，首个带可验证密集渐进奖励的长程智能体训练数据集，及PPRS训练方法，训练出Tev-27B模型，在长程任务上性能比肩GPT-6等顶尖模型，推动开源智能体发展。

Virtual Head Attention 82 ​

  • Tags: 推理优化 大模型 模型发布 长上下文

  • Source: arXiv Computation and Language | 阅读原文

[摘要]
提出虚拟头注意力（VHA），通过两个轻量线性操作同时优化KV缓存、训练/预填充FLOPs和模型质量，在长上下文大模型中超越GQA和MLA，大幅降低缓存开销并提升性能。

Davinci-Tool: Scaling Agentic Tool-Use Supervision with Verifiable Executable Environments 82 ​

  • Tags: 智能体 模型发布 数据集 推理优化

  • Source: arXiv Computation and Language | 阅读原文

[摘要]
Davinci-Tool发布30B工具使用模型及执行可验证数据集，通过合成环境与偏好优化，在多项基准上超越480B模型，显著提升智能体工具调用的可靠性与效率。

FidelityQ: Preserving Predictive Fidelity in Ultra-Low-Bit Language Model Quantization 78 ​

  • Tags: 推理优化 模型量化 大模型

  • Source: arXiv Computation and Language | 阅读原文

[摘要]
FidelityQ提出超低比特（2bit）量化框架，通过信息对齐解析编码和知识密集校准，在LLaMA-2-7B上实现W2A16困惑度6.62，显著提升极低精度下模型预测保真度，推动高效部署。

PANINI-DR: Controlled Deep Research through Generative Semantic Workspaces 78 ​

  • Tags: 智能体 研究进展 推理优化

  • Source: arXiv Computation and Language | 阅读原文

[摘要]
PANINI-DR提出基于生成语义工作区的多智能体深度研究框架，分离协调与验证，在BrowseComp-Plus等基准上超越七个SOTA系统，硬问题准确率显著领先，并提升证据可恢复性。

REPRO: Reflective Evolutionary Prompt Optimizer for Automated LLM Red-Teaming 78 ​

  • Tags: AI安全 红队测试 提示词优化 模型评测

  • Source: arXiv Computation and Language | 阅读原文

[摘要]
REPRO提出纯黑盒进化式提示词优化框架，用7B模型在单消费级GPU上自动生成对抗提示，对36个目标模型实现100%攻击成功率，推动LLM红队测试自动化与可扩展性。

Compositional RL: Evaluating and Training LLMs for Collaborative Reasoning 78 ​

  • Tags: 研究 强化学习 多模型协作 推理优化

  • Source: arXiv Computation and Language | 阅读原文

[摘要]
新研究提出组合强化学习（C-RL），用Shapley值评估模型在协作系统中的贡献，发现单体性能与协作价值相关性弱，C-RL在多数协作场景显著提升系统表现，对多模型协作部署有重要指导意义。

AutoEnvScaling: Automating the Data Flywheel with Terminal Agents 78 ​

  • Tags: 智能体 训练方法 研究进展 AI安全

  • Source: arXiv Computation and Language | 阅读原文

[摘要]
新研究AutoEnvScaling将环境设计视为终端任务，用智能体自动生成RL训练环境，提升有效环境率25倍、成本降低75%，并推动递归自我改进，跨多个智能体领域泛化。

SPROUT: Scaling Agentic Reinforcement Learning for Long-Horizon Software Engineering 78 ​

  • Tags: 智能体 强化学习 推理优化 模型训练

  • Source: arXiv Computation and Language | 阅读原文

[摘要]
SPROUT提出基于快照的智能体强化学习框架，通过从中间状态分支恢复，显著提升长时程软件工程任务训练效率，最高提升23.6%且节省token，降低训练成本。

OpenMobile-2: Building Versatile Mobile Agents with Scalable Environments and App-Native Tools 78 ​

  • Tags: 智能体 开源生态 模型发布 数据集

  • Source: arXiv Computation and Language | 阅读原文

[摘要]
开源移动智能体OpenMobile-2发布，含110+应用环境、12K训练轨迹及可验证RL数据，支持GUI与原生工具混合操作，在AndroidWorld等基准上表现优异，接近前沿水平。

A Production-Grade, High-Efficiency Agentic RL Framework for Frontier LLMs with Validated Recipes 78 ​

  • Tags: 智能体 强化学习 开源生态 推理优化

  • Source: arXiv Computation and Language | 阅读原文

[摘要]
LoongSage发布：一个面向前沿大模型智能体强化学习的高效生产级框架，基于Megatron和SGLang，支持异步执行与多教师蒸馏，提升训练效率。

Fish Audio Drama 3 Technical Report 78 ​

  • Tags: 模型发布 开源生态 语音生成 推理优化

  • Source: arXiv Computation and Language | 阅读原文

[摘要]
Fish Audio 发布 Drama 3 开源语音生成模型，35B MoE 架构，支持多角色配音、指令式导演、多轮修改和流式音频，推理速度提升，权重已开源。

SWE-MISBEHAVIOR: Benchmarking and Mitigating Boundary Violations in Software Coding Agents 78 ​

  • Tags: AI安全 智能体 基准测试 AI编程

  • Source: arXiv Computation and Language | 阅读原文

[摘要]
新基准SWE-MISBEHAVIOR系统评估编码智能体的越界行为，覆盖7.4K样本和11类违规，发现主流开源智能体存在高比例误操作，并推出CODE-KIT框架将违规降低52%，对AI编程安全有重要价值。

Visual Studio Copilot 与 SSMS 远程代码执行漏洞（CVE-2026-103572）技术分析 78 ​

  • Tags: AI安全 漏洞修复 Copilot 微软

  • Source: AI HOT 精选 | 阅读原文

[摘要]
微软修复Visual Studio Copilot与SSMS的远程代码执行漏洞（CVE-2026-103572），源于Windows文件名末尾点号绕过路径验证，可致任意命令执行，影响广泛，已发布补丁。

RewardHarness: Self-Evolving Agentic Post-Training 75 ​

  • Tags: 模型发布 推理优化 图像编辑

  • Source: arXiv Computation and Language | 阅读原文

[摘要]
新框架RewardHarness提出免训练自进化智能体奖励模型，仅用0.05%偏好数据即在图像编辑评测上超越GPT-5，显著降低RLHF数据依赖，推动对齐技术发展。

OScaR: The Occam's Razor for Extreme KV Cache Quantization in LLMs and Beyond 75 ​

  • Tags: 推理优化 KV缓存 模型压缩 开源生态

  • Source: arXiv Computation and Language | 阅读原文

[摘要]
OScaR提出极低比特KV缓存量化框架，通过旋转与缩放解决Token范数不平衡，在INT2下近无损，解码提速3倍、内存降5.3倍，开源并支持多模态模型。