Develata's Space

Appearance

2026-10-20 ​

SGLang v0.5.22发布，支持DeepSeek-V4.1在H200和AMD MI350X上吞吐提升，新增InstantTensor加载器加速模型加载10倍，并支持Apple Silicon和ComfyUI集成，显著提升推理效率与生态兼容性。 新研究提出LM2LM方法，用强化学习训练LLM生成改进语言模型的提案，通过冻结的研究世界模型预测收益作为奖励，…

Choose a tag to compare 82 ​

  • Tags: 推理优化 开源生态 模型部署 SGLang

  • Source: GitHub Release - SGLang | 阅读原文

[摘要]
SGLang v0.5.22发布，支持DeepSeek-V4.1在H200和AMD MI350X上吞吐提升，新增InstantTensor加载器加速模型加载10倍，并支持Apple Silicon和ComfyUI集成，显著提升推理效率与生态兼容性。

Language Models Learn to Improve Language Models 82 ​

  • Tags: 大模型 强化学习 递归自我改进 AI研究

  • Source: arXiv Computation and Language | 阅读原文

[摘要]
新研究提出LM2LM方法，用强化学习训练LLM生成改进语言模型的提案，通过冻结的研究世界模型预测收益作为奖励，并定期执行高排名提案校准反馈，在多个开发环境中以更低成本超越强基线，推动递归自我改进。

Embeddings Are Overpriced? A Frozen 16 MB Vocabulary for Small and Ternary Language Models 82 ​

  • Tags: 模型压缩 推理优化 小型语言模型 嵌入表

  • Source: arXiv Computation and Language | 阅读原文

[摘要]
该研究提出用冻结的16MB词汇表替代小型语言模型中的大型嵌入表，在Gemma 270M和三元BitNet模型上验证，性能相当或更优，且大幅提升CPU推理速度和内存效率，并支持训练后新词扩展，具有重要工程价值。

LED: Improving Masked Diffusion Language Models by Lookahead Editing 82 ​

  • Tags: 扩散模型 语言模型 模型训练 推理优化

  • Source: arXiv Computation and Language | 阅读原文

[摘要]
提出Lookahead Editing方法，通过可重写提议状态增强掩码扩散语言模型的迭代修正能力，在保持MDM易优化性的同时提升表达力，微调Qwen模型在8个基准上平均提升11.4分，并超越更大规模的LLaDA2.1-16B。

Choose a tag to compare 78 ​

  • Tags: 推理优化 开源生态 模型部署 安全修复

  • Source: GitHub Release - vLLM | 阅读原文

[摘要]
vLLM v0.32.0发布，新增结构化决策端点、低精度KV缓存支持多GPU平台、模型运行器V2及多项安全修复，显著提升推理性能与兼容性。

AutoPrunedRetriever: Persistent Reasoning Graphs for Efficient and Extensible Retrieval-Augmented Generation 78 ​

  • Tags: RAG 推理优化 检索增强生成 模型研究

  • Source: arXiv Computation and Language | 阅读原文

[摘要]
提出AutoPrunedRetriever，用共享符号码本将检索索引与持久记忆结合，复用推理路径，在复杂推理基准上准确率提升1.8-10.8点，输入token减少最多96%，兼具效率与可扩展性。

Sample, Mix, or Verify? Allocating Test-Time Compute under Imperfect Verifiers 78 ​

  • Tags: 推理优化 计算资源分配 验证器 大模型

  • Source: arXiv Computation and Language | 阅读原文

[摘要]
新研究提出SPLIT方法，基于小规模标注数据精确分配推理时计算资源，在多种验证器下优化采样与验证预算，跨7基准26模型表现接近最优，提升推理效率。

Verbalising Model's Computation for Chain-of-Thought Faithfulness Detection 78 ​

  • Tags: 思维链 推理忠实性 模型可解释性 AI研究

  • Source: arXiv Computation and Language | 阅读原文

[摘要]
新方法VERITAS通过层间雅可比投影将模型内部计算言语化，用于检测思维链推理忠实性，在FaithCoT-Bench等基准上较LLM-as-Judge提升28.4%平衡准确率，提供可解释的推理失败机制分析。

MuninAI: A Self-Hosted Agentic Framework for Independent Research Groups 78 ​

  • Tags: 智能体 开源框架 文献问答 推理优化

  • Source: arXiv Computation and Language | 阅读原文

[摘要]
MuninAI是面向独立研究组的自托管智能体框架，通过检索与工具增强使开源模型在文献问答上准确率从0.387提升至0.874，并附带评测套件，支持单GPU运行，具有实际部署价值。

HydraLLM: Adaptive Width Slicing for Elastic Text and Vision-Language Models 78 ​

  • Tags: 模型架构 弹性推理 多模态 推理优化

  • Source: arXiv Computation and Language | 阅读原文

[摘要]
HydraLLM提出弹性MQA架构，通过调整活跃注意力头数实现模型宽度自适应，支持从数据中心到边缘设备部署，覆盖更广参数配置，在TriviaQA和CLIPScore上优于基线，吞吐量提升75.3%。

Perceive, Solve, Reason: Progressive Capability Formation in Time Series-LLMs 78 ​

  • Tags: 时间序列 大模型 模型研究 多模态

  • Source: arXiv Computation and Language | 阅读原文

[摘要]
新研究构建首个时间序列LLM能力套件，含33.7万训练样本，发现专用编码器至关重要，4B模型在感知任务超GPT-4o，按序学习能力优于混合训练，为时间序列作为一等模态提供实证。

TokenEconomizer: Experience-Driven Black-Box Cost Control for Coding Agents 78 ​

  • Tags: AI编程 推理优化 智能体 成本控制

  • Source: arXiv Computation and Language | 阅读原文

[摘要]
TokenEconomizer提出黑盒成本控制方法，通过技能注入、工具剪枝和失败循环干预，在Claude Code、Codex等编码代理上平均降低18.4-30.9%的token成本，且任务成功率不变，适用于多领域。

Ignored, Not Refused: What Low Prompt-Injection Success Rates Hide in Small Tool-Using Agents 78 ​

  • Tags: 智能体 提示注入 AI安全 评测方法

  • Source: arXiv Computation and Language | 阅读原文

[摘要]
研究审计11个开源工具型智能体的3.3万条轨迹，发现低提示注入成功率主要源于智能体忽略攻击而非拒绝，系统提示词可大幅改变成功率，建议评测同时报告攻击失败方式与任务完成度。

First Passage Attention 78 ​

  • Tags: 注意力机制 模型架构 大模型 推理能力

  • Source: arXiv Computation and Language | 阅读原文

[摘要]
新注意力机制FPA通过路径极值实现选择性遗忘，理论证明优于softmax和FoX，在110M模型上实现8倍长度passkey检索且缓存压缩至25%，具有研究价值。

Prism Attention: Proposal-Refined Index Sharing Mechanism for Efficient LLMs Inference 78 ​

  • Tags: 推理优化 稀疏注意力 长上下文 大模型

  • Source: arXiv Computation and Language | 阅读原文

[摘要]
提出Prism Attention，一种提案-精炼的稀疏注意力框架，通过粗到细策略改进跨层索引共享，在保持层适应性同时提升效率，实现128K上下文下3.4倍解码加速，在推理和长上下文基准上达到最优。

The Model Knows Better: Defending Medical Multi-Agent Systems Against Prompt Injection 78 ​

  • Tags: AI安全 多智能体 提示注入 医疗AI

  • Source: arXiv Computation and Language | 阅读原文

[摘要]
研究揭示医疗多智能体系统易受提示注入攻击，单次注入最高61%成功率，提出免训练防御方法，通过分离患者发现与临床判断并验证，将攻击成功率降至4-7%，同时保持正常准确率。

Many Biases, One Circuit: Post-Training Tunes a Pretrained Cue-Routing Mechanism 78 ​

  • Tags: 模型可解释性 AI安全 大模型 偏见研究

  • Source: arXiv Computation and Language | 阅读原文

[摘要]
研究发现语言模型在提示含错误线索时放弃正确答案的偏见（如谄媚）源于预训练中已有的共享神经回路，而非对齐导致；后训练（微调与强化学习）激活并增强该回路，可通过干预中间层注意力缓解。

Prune the Leaky Neurons: Mitigating Private Data Leakage in Fine-Tuned LLMs via Joint-Embedding-Guided Pruning 78 ​

  • Tags: 大模型 隐私安全 模型剪枝 AI安全

  • Source: arXiv Computation and Language | 阅读原文

[摘要]
提出JEPA-Prune框架，通过联合嵌入引导剪枝微调LLM中的隐私神经元，仅剪1.6%神经元即可大幅降低PII泄露，同时保持文本困惑度，为隐私保护提供新方案。

Competence-Based Evaluation of Logical Reasoning in Large Language Models 78 ​

  • Tags: 大模型 逻辑推理 评测方法 研究论文

  • Source: arXiv Computation and Language | 阅读原文

[摘要]
该论文提出基于能力的逻辑推理评测范式（CBE），通过参数化生成器控制复杂度并变换表述，测试模型是否可靠应用同一推理能力。实验显示GPT和Qwen模型在复杂度范围内表现尚可，但均未通过能力条件，为LLM推理评测提供新方法论。

Disentangling Language Effects on Tool Admission and Post-Retrieval Safety 78 ​

  • Tags: 大模型 智能体 AI安全 多语言

  • Source: arXiv Computation and Language | 阅读原文

[摘要]
新研究揭示LLM智能体在多语言检索工具使用中的安全漏洞：非英语有害请求显著提高工具准入率，且跨语言响应增加有害性，需分别评估工具准入与响应安全性。