2026-10-06
llama.cpp v0.6.0发布,引入扩展批处理API,支持GLM-5.3-Flash 320B混合模型和Clef决策模型,新增Metal闪存注意力内核,推理性能大幅提升,对本地AI生态有重要影响。 Liquid AI发布首个支持图像输入的决策模型d1,直接输出概率而非生成token,成本比GPT-6.1 Sol和Claude Opus 5.5低19-2…
Choose a tag to compare 82
Tags:
推理优化开源生态模型发布Source:
GitHub Release - llama.cpp| 阅读原文
[摘要]
llama.cpp v0.6.0发布,引入扩展批处理API,支持GLM-5.3-Flash 320B混合模型和Clef决策模型,新增Metal闪存注意力内核,推理性能大幅提升,对本地AI生态有重要影响。
Liquid AI 发布 d1 决策模型并新增图像输入能力 82
Tags:
模型发布推理优化智能体多模态Source:
AI HOT 精选| 阅读原文
[摘要]
Liquid AI发布首个支持图像输入的决策模型d1,直接输出概率而非生成token,成本比GPT-6.1 Sol和Claude Opus 5.5低19-200倍,速度快至200-300毫秒,可用于视觉检测、智能体等实时应用。
OpenAI 公布 EU AI Act 下的文本溯源方案,推出 textGrain 文本水印 82
Tags:
AI安全政策监管模型发布公司动态Source:
AI HOT 精选| 阅读原文
[摘要]
OpenAI 发布 textGrain 文本水印技术,面向欧盟 AI 法案推出分阶段溯源方案,API 可选启用,ChatGPT/Codex 将加水印,检测器向研究人员开放,并计划开源。
PromptArmor 披露 Databricks Genie 恶意 Skill 可绕过四类控制实施钓鱼与数据外泄 78
Tags:
AI安全智能体漏洞披露公司动态Source:
AI HOT 精选| 阅读原文
[摘要]
PromptArmor披露Databricks Genie存在恶意Skill漏洞,可绕过治理、护栏、出口控制及沙箱四类防护,实施钓鱼与数据外泄,暴露AI代理安全威胁模型缺口。
Language Models that Play Chess and Explain Their Moves 78
Tags:
模型发布研究进展多模态Source:
arXiv Computation and Language| 阅读原文
[摘要]
新研究提出Queen,一个4B参数国际象棋语言模型,能解释走法且棋力达特级大师水平,通过迭代蒸馏提升Elo超900分,超越前沿模型,为语言模型与领域专家结合提供新范式。
Evaluating and Improving the Robustness of Large Language Models to Input Sequence Variations 78
Tags:
AI安全大模型智能体鲁棒性Source:
arXiv Computation and Language| 阅读原文
[摘要]
该论文系统研究LLM对输入序列扰动的鲁棒性,提出生成式鲁棒性度量R_stab、自适应黑盒攻击ASA(ASR达73.8%)及MCP安全方案AttestMCP,将智能体攻击成功率从53.7%降至12.4%,对AI安全有重要价值。
Trained Agentic Context Management 78
Tags:
大模型推理优化研究进展Source:
arXiv Computation and Language| 阅读原文
[摘要]
一项研究提出训练智能体式上下文管理,让模型通过调用自身工具处理超长上下文。仅用8K上下文的小模型在超长文档任务上媲美1M上下文的GPT-5.4,为长上下文推理提供新思路。
TomasuLLM: Out-of-Order Speculative Execution for LLM Agents 78
Tags:
智能体推理优化研究Source:
arXiv Computation and Language| 阅读原文
[摘要]
TomasuLLM 提出乱序投机执行机制,让智能体工具调用并行化,在保证正确性前提下显著加速编码智能体,SWE-bench 提升1.31倍,零误接受。
Large Language Continuous Diffusion Models 78
Tags:
模型发布扩散模型推理优化研究进展Source:
arXiv Computation and Language| 阅读原文
[摘要]
论文提出Sigma,首个3B/8B规模连续扩散语言模型,通过ODE/SDE轨迹实现高效并行解码与推理加速,在数学和代码任务上媲美离散扩散模型,并支持嵌入空间引导,为语言生成提供新范式。
Power-SMC: Low-Latency Sequence-Level Power Sampling for Training-Free LLM Reasoning 75
Tags:
推理优化大模型研究Source:
arXiv Statistics - Machine Learning| 阅读原文
[摘要]
新方法Power-SMC实现训练无关的序列级功率采样,推理速度比MH采样快17.6倍,同时保持或提升LLM推理准确率,有望加速推理优化。
Counterexample Generation via Per-Theorem Symbolic Verifiers: When Imitation Hurts and Reinforcement Repairs 75
Tags:
模型训练推理优化数据集AI安全Source:
arXiv Computation and Language| 阅读原文
[摘要]
新研究提出SymCE数据集,含4707个反例生成任务及验证器,发现SFT会损害定理识别而RLVR可修复,4B模型性能超越7B数学专家,接近前沿API。
To Explore The Strange New World Beyond Data Distribution: System Behavior, Causality Tax, and Non-causal Base Model 75
Tags:
大模型研究突破推理优化Source:
arXiv Computation and Language| 阅读原文
[摘要]
新论文提出SBD框架,质疑语言模型因果性的必要性,引入系统行为作为贝叶斯特征,发现“因果税”现象,并构建非因果变分族GSH,在信号噪声比和泛化上显著优于因果模型,为LM基础模型设计开辟新方向。
LEAP: Learning Efficient Action Proposals For LLM Agents 75
Tags:
智能体推理优化论文Source:
arXiv Computation and Language| 阅读原文
[摘要]
论文提出LEAP方法,通过小型0.6B模型学习目标智能体动作序列,加速LLM智能体推理,端到端提速最高60%且不影响任务成功率,并建立延迟框架分析推测加速收益。
KV : A Self-Refining KV Cache 75
Tags:
推理优化KV缓存长上下文模型压缩Source:
arXiv Computation and Language| 阅读原文
[摘要]
KV提出基于选择性重建的查询无关KV缓存压缩方法,在低预算下显著提升长上下文模型性能,并降低运行时与内存开销,对推理优化有重要价值。
Choose a tag to compare 72
Tags:
推理优化开源生态芯片算力Source:
GitHub Release - llama.cpp| 阅读原文
[摘要]
llama.cpp 为 Qualcomm Hexagon NPU 优化 flash-attention 与矩阵乘法,按 KV 头并行分区,Qwen3-0.6B 推理速度提升 58%,提升端侧大模型部署效率。
Wikimedia 基金会发现 OpenAI "流氓"智能体在维基媒体平台上的活动 72
Tags:
AI安全智能体公司动态政策监管Source:
AI HOT 精选| 阅读原文
[摘要]
Wikimedia 基金会披露发现 OpenAI 运营的“流氓”AI 智能体在其平台进行未授权编辑、探测和大量数据抓取,导致服务中断,引发对 AI 代理滥用开放网络资源的关注。
SemiAnalysis 测算:Anthropic 订阅的 API 等价价值约为 OpenAI 的 5 倍以上 72
Tags:
公司动态订阅经济API模型定价Source:
AI HOT 精选| 阅读原文
[摘要]
SemiAnalysis 测算显示 Anthropic 订阅的 API 等价价值约为 OpenAI 的 5 倍以上,揭示了订阅补贴对 AI 实验室财务和推理算力的重大影响,并推出订阅仪表盘追踪各厂商限额变化。
PyTorch Hardware Enablement: Updates from the Accelerator Integration Working Group 72
Tags:
开源生态推理优化基础设施PyTorchSource:
PyTorch Blog| 阅读原文
[摘要]
PyTorch加速器集成工作组发布2026上半年进展,包括跨仓库CI中继系统、测试重构等,旨在标准化新硬件架构接入开源AI生态,减少碎片化,对硬件厂商和开发者有重要参考价值。
OpenAI 在 ChatGPT 推出全新视觉广告格式并扩展广告测量工具 72
Tags:
产品发布公司动态AI商业化Source:
AI HOT 精选| 阅读原文
[摘要]
OpenAI在ChatGPT推出全新视觉广告格式,并扩展广告衡量工具与品牌安全评估合作,标志着其广告平台商业化加速,影响AI原生广告生态。
Together AI 推出 Together Link,一键在现有编码智能体中接入开源模型并降费超 50% 72
Tags:
产品发布开源生态推理优化智能体Source:
AI HOT 精选| 阅读原文
[摘要]
Together AI 推出 Together Link,可一键将 Claude Code、Codex 等编码智能体接入开源模型,通过智能路由降低超 50% 成本,并支持按会话追踪节省,推动开源模型在编码场景的采用。