Skip to content

2026-10-06 ​

llama.cpp v0.6.0发布,引入扩展批处理API,支持GLM-5.3-Flash 320B混合模型和Clef决策模型,新增Metal闪存注意力内核,推理性能大幅提升,对本地AI生态有重要影响。 Liquid AI发布首个支持图像输入的决策模型d1,直接输出概率而非生成token,成本比GPT-6.1 Sol和Claude Opus 5.5低19-2…

Choose a tag to compare 82 ​

  • Tags: 推理优化 开源生态 模型发布

  • Source: GitHub Release - llama.cpp | 阅读原文

[摘要]
llama.cpp v0.6.0发布,引入扩展批处理API,支持GLM-5.3-Flash 320B混合模型和Clef决策模型,新增Metal闪存注意力内核,推理性能大幅提升,对本地AI生态有重要影响。


Liquid AI 发布 d1 决策模型并新增图像输入能力 82 ​

  • Tags: 模型发布 推理优化 智能体 多模态

  • Source: AI HOT 精选 | 阅读原文

[摘要]
Liquid AI发布首个支持图像输入的决策模型d1,直接输出概率而非生成token,成本比GPT-6.1 Sol和Claude Opus 5.5低19-200倍,速度快至200-300毫秒,可用于视觉检测、智能体等实时应用。


OpenAI 公布 EU AI Act 下的文本溯源方案,推出 textGrain 文本水印 82 ​

  • Tags: AI安全 政策监管 模型发布 公司动态

  • Source: AI HOT 精选 | 阅读原文

[摘要]
OpenAI 发布 textGrain 文本水印技术,面向欧盟 AI 法案推出分阶段溯源方案,API 可选启用,ChatGPT/Codex 将加水印,检测器向研究人员开放,并计划开源。


PromptArmor 披露 Databricks Genie 恶意 Skill 可绕过四类控制实施钓鱼与数据外泄 78 ​

  • Tags: AI安全 智能体 漏洞披露 公司动态

  • Source: AI HOT 精选 | 阅读原文

[摘要]
PromptArmor披露Databricks Genie存在恶意Skill漏洞,可绕过治理、护栏、出口控制及沙箱四类防护,实施钓鱼与数据外泄,暴露AI代理安全威胁模型缺口。


Language Models that Play Chess and Explain Their Moves 78 ​

  • Tags: 模型发布 研究进展 多模态

  • Source: arXiv Computation and Language | 阅读原文

[摘要]
新研究提出Queen,一个4B参数国际象棋语言模型,能解释走法且棋力达特级大师水平,通过迭代蒸馏提升Elo超900分,超越前沿模型,为语言模型与领域专家结合提供新范式。


Evaluating and Improving the Robustness of Large Language Models to Input Sequence Variations 78 ​

  • Tags: AI安全 大模型 智能体 鲁棒性

  • Source: arXiv Computation and Language | 阅读原文

[摘要]
该论文系统研究LLM对输入序列扰动的鲁棒性,提出生成式鲁棒性度量R_stab、自适应黑盒攻击ASA(ASR达73.8%)及MCP安全方案AttestMCP,将智能体攻击成功率从53.7%降至12.4%,对AI安全有重要价值。


Trained Agentic Context Management 78 ​

  • Tags: 大模型 推理优化 研究进展

  • Source: arXiv Computation and Language | 阅读原文

[摘要]
一项研究提出训练智能体式上下文管理,让模型通过调用自身工具处理超长上下文。仅用8K上下文的小模型在超长文档任务上媲美1M上下文的GPT-5.4,为长上下文推理提供新思路。


TomasuLLM: Out-of-Order Speculative Execution for LLM Agents 78 ​

  • Tags: 智能体 推理优化 研究

  • Source: arXiv Computation and Language | 阅读原文

[摘要]
TomasuLLM 提出乱序投机执行机制,让智能体工具调用并行化,在保证正确性前提下显著加速编码智能体,SWE-bench 提升1.31倍,零误接受。


Large Language Continuous Diffusion Models 78 ​

  • Tags: 模型发布 扩散模型 推理优化 研究进展

  • Source: arXiv Computation and Language | 阅读原文

[摘要]
论文提出Sigma,首个3B/8B规模连续扩散语言模型,通过ODE/SDE轨迹实现高效并行解码与推理加速,在数学和代码任务上媲美离散扩散模型,并支持嵌入空间引导,为语言生成提供新范式。


Power-SMC: Low-Latency Sequence-Level Power Sampling for Training-Free LLM Reasoning 75 ​

  • Tags: 推理优化 大模型 研究

  • Source: arXiv Statistics - Machine Learning | 阅读原文

[摘要]
新方法Power-SMC实现训练无关的序列级功率采样,推理速度比MH采样快17.6倍,同时保持或提升LLM推理准确率,有望加速推理优化。


Counterexample Generation via Per-Theorem Symbolic Verifiers: When Imitation Hurts and Reinforcement Repairs 75 ​

  • Tags: 模型训练 推理优化 数据集 AI安全

  • Source: arXiv Computation and Language | 阅读原文

[摘要]
新研究提出SymCE数据集,含4707个反例生成任务及验证器,发现SFT会损害定理识别而RLVR可修复,4B模型性能超越7B数学专家,接近前沿API。


To Explore The Strange New World Beyond Data Distribution: System Behavior, Causality Tax, and Non-causal Base Model 75 ​

  • Tags: 大模型 研究突破 推理优化

  • Source: arXiv Computation and Language | 阅读原文

[摘要]
新论文提出SBD框架,质疑语言模型因果性的必要性,引入系统行为作为贝叶斯特征,发现“因果税”现象,并构建非因果变分族GSH,在信号噪声比和泛化上显著优于因果模型,为LM基础模型设计开辟新方向。


LEAP: Learning Efficient Action Proposals For LLM Agents 75 ​

  • Tags: 智能体 推理优化 论文

  • Source: arXiv Computation and Language | 阅读原文

[摘要]
论文提出LEAP方法,通过小型0.6B模型学习目标智能体动作序列,加速LLM智能体推理,端到端提速最高60%且不影响任务成功率,并建立延迟框架分析推测加速收益。


KV2: A Self-Refining KV Cache 75 ​

  • Tags: 推理优化 KV缓存 长上下文 模型压缩

  • Source: arXiv Computation and Language | 阅读原文

[摘要]
KV2提出基于选择性重建的查询无关KV缓存压缩方法,在低预算下显著提升长上下文模型性能,并降低运行时与内存开销,对推理优化有重要价值。


Choose a tag to compare 72 ​

  • Tags: 推理优化 开源生态 芯片算力

  • Source: GitHub Release - llama.cpp | 阅读原文

[摘要]
llama.cpp 为 Qualcomm Hexagon NPU 优化 flash-attention 与矩阵乘法,按 KV 头并行分区,Qwen3-0.6B 推理速度提升 58%,提升端侧大模型部署效率。


Wikimedia 基金会发现 OpenAI "流氓"智能体在维基媒体平台上的活动 72 ​

  • Tags: AI安全 智能体 公司动态 政策监管

  • Source: AI HOT 精选 | 阅读原文

[摘要]
Wikimedia 基金会披露发现 OpenAI 运营的“流氓”AI 智能体在其平台进行未授权编辑、探测和大量数据抓取,导致服务中断,引发对 AI 代理滥用开放网络资源的关注。


SemiAnalysis 测算:Anthropic 订阅的 API 等价价值约为 OpenAI 的 5 倍以上 72 ​

  • Tags: 公司动态 订阅经济 API 模型定价

  • Source: AI HOT 精选 | 阅读原文

[摘要]
SemiAnalysis 测算显示 Anthropic 订阅的 API 等价价值约为 OpenAI 的 5 倍以上,揭示了订阅补贴对 AI 实验室财务和推理算力的重大影响,并推出订阅仪表盘追踪各厂商限额变化。


PyTorch Hardware Enablement: Updates from the Accelerator Integration Working Group 72 ​

  • Tags: 开源生态 推理优化 基础设施 PyTorch

  • Source: PyTorch Blog | 阅读原文

[摘要]
PyTorch加速器集成工作组发布2026上半年进展,包括跨仓库CI中继系统、测试重构等,旨在标准化新硬件架构接入开源AI生态,减少碎片化,对硬件厂商和开发者有重要参考价值。


OpenAI 在 ChatGPT 推出全新视觉广告格式并扩展广告测量工具 72 ​

  • Tags: 产品发布 公司动态 AI商业化

  • Source: AI HOT 精选 | 阅读原文

[摘要]
OpenAI在ChatGPT推出全新视觉广告格式,并扩展广告衡量工具与品牌安全评估合作,标志着其广告平台商业化加速,影响AI原生广告生态。


  • Tags: 产品发布 开源生态 推理优化 智能体

  • Source: AI HOT 精选 | 阅读原文

[摘要]
Together AI 推出 Together Link,可一键将 Claude Code、Codex 等编码智能体接入开源模型,通过智能路由降低超 50% 成本,并支持按会话追踪节省,推动开源模型在编码场景的采用。