宝玉@dotey

43

Claude Code 桌面版右边 Panel 是相当糟糕的设计，经常让浏览器只看得见一点点（图1） 还有个很糟糕的设计是当任务完成后，生成的结果是不能点击的（图2），需要复制文件名去搜索，对比 Codex 的生成结果就很清晰，点击下就可以预览或者 VSCode 打开。

ClaudeDevs: Claude Code on desktop now has an in-app browser. Claude can pull up docs, designs, or any other site. It can read, clic...

Elon Musk@elonmusk

61

X Freeze: Grok 4.5 just topped Perplexity's WANDR orchestrator evaluation It scored higher than every other tested configuration a...

Artificial Analysis@ArtificialAnlys

72

中国移动于 7 月 9 日发布 JT-4.1 Flash 236B A21B 非推理模型，在 Artificial Analysis 智能指数 v4.1 上得分 39，较前代 JT-35B-Flash 显著提升。该模型上下文窗口 256k，仅支持文本输入输出。关键成绩：τ³-Banking 达 28%，领先 DeepSeek V4 Pro（26%）和 GLM-5.2（27%）；AA-Omniscience 指数 -10.1，幻觉率降至 43%（下降 20 个百分点）；HLE 得分 16.1%，远超 JT-35B-Flash 的 6%。虽与国内前沿模型 GLM-5.2（51）和 Qwen3.7 Max（46）仍有差距，但进步明显。该模型通过中国移动自有 API 提供。

Rohan Paul@rohanpaul_ai

66

Perplexity Computer 将 Grok 4.5 作为编排模型，在 WANDR 基准测试中得分 0.328，每次试验成本 $4.76。该成绩超越了 Opus 4.8（0.254 分，$9.46）和 GPT-5.6 sol（0.289 分，$2.64）。WANDR 评估需要搜索、计算和多步推理的复杂研究任务。Grok 4.5 以约 Opus 4.8 一半的成本取得最高分，现面向 Consumer Pro 和 Max 订阅用户开放。

Perplexity: Grok 4.5 is now available as an orchestrator model in Computer for Consumer Pro and Max subscribers. We evaluated it aga...

🚨 AI News | TestingCatalog@testingcatalog

65

本周 Chatbot Arena 与 Artificial Analysis 排行榜出现重大变动。头部两家实验室地位稳固，但 Grok 和 Muse Spark 排名显著上升，对 Gemini 和 GLM 形成压力，不过与前两名仍有明显差距。推文指出，模型智能提升速度日益关键，实验室需快速迭代以保持竞争力。更频繁的模型发布正为持续学习奠定基础，若趋势延续，排行榜可能最终实现每小时更新，以反映模型独立进化而非依赖低频次大版本发布。发布周期已从季度缩短至月度，年底前双周发布或成新常态。

Rohan Paul@rohanpaul_ai

49

在 atomic_chat 桌面应用中，Grok 4.5 免费版在机器人对战、液压机压碎和卡车跳峡谷三个浏览器物理演示中达到 GPT-5.6 Sol 水平。测试要求模型生成自包含 HTML5 Canvas 代码，处理重力、碰撞检测和帧控制。输出对比：GPT-5.6 Sol 12.9K tokens/$0.51（约7分钟），Grok 4.5 10.8K tokens/免费（约5分钟），Muse Spark 1.1 26.8K tokens/$0.12（约7.5分钟），GLM 5.2 10.9K tokens/$0.02（约12分钟）。物理演示暴露了普通编码基准隐藏的弱点：模型可能用更多 token 描述丰富场景，却难以维持跨帧的力、动量、碰撞时序和可信物体行为。Grok 4.5 目前仅通过 Grok Build 和 Cursor 免费使用。

atomic.chat: Grok 4.5 performed GPT Sol level for free! We gave 4 models the same prompt: build three self-contained HTML5 canvas sce...

团队根据上次评测反馈，组织了更大规模的模型应用开发对比，12款模型参与，每项任务执行5次。在Doom风格射线投射迷宫任务中，GPT-5.6 Sol和Luna均5/5成功，Grok 4.5以$0.27和62秒实现5/5成功。3D魔方任务中，Claude Fable 5以5/5领先。计算器任务中，Grok 4.5、Claude Opus 4.8和Claude Fable 5均获5/5。

Artificial Analysis@ArtificialAnlys

45

Artificial Analysis 发布新智能体知识工作基准测试 AA-Briefcase，用于评估模型在复杂项目中的真实知识工作能力。GPT-5.6 Sol (max) 在该基准中取得最高 Presentation Elo，其生成的 PowerPoint 和 Excel 等文件输出在专业呈现上超越所有其他模型。相比前代 GPT-5.5 (xhigh)，GPT-5.6 Sol (max) 的 Presentation Elo 提升约 500 分，在模型间视觉对比中预计胜率约 95%。AA-Briefcase 评分结合二元 Rubric 检查与 Analytical Quality 及 Presentation 两两比较。

🚨 AI News | TestingCatalog@testingcatalog

55

AI/ML API: Grok 4.5 crushed OpenAI & Meta in this test! Cost per run: GPT Sol $1.63 Grok 4.5 $2.47 Meta Muse Spark 1.1 $1.08 The th...

Elon Musk@elonmusk

25

X Freeze: Grok 4.5 with Grok Build just ranked #1 on the SWE-Atlas-QnA benchmark with a score of 84 That puts it level with GPT-5....

Elon Musk@elonmusk

47

Thibault Jaigu: @OpenAI released 3 new models yesterday and we immediately tested it on our internal benchmark. All three outperforming ...

Chubby♨️@kimmonismus

55

David Ondrej: first impressions of GPT 5.6 are not good...

Rohan Paul@rohanpaul_ai

48

GPT-5.6 在 DeepSWE 编程智能体基准测试中达到约 72%-73% 的解决率，每任务成本约 $8.4；而 Claude/Fable-5 最高约 70%，每任务成本高达 $13-$22。DeepSWE 要求模型在真实开源仓库中完成长周期软件工程任务，涵盖仓库导航、错误诊断、代码编辑、工具使用、测试运行及多步修复，共涉及 91 个仓库和 5 种语言的 113 个任务。该基准通过程序验证器检查最终补丁是否有效，最佳模型需在最低平均任务成本下解决最多任务。

Rohan Paul@rohanpaul_ai

65

thehype.: gpt 5.6 sol pro vs claude fable 5 vs grok 4.5 vs glm 5.2 today @OpenAI released the gpt-5.6 family - sol (flagship), ter...

大语言模型与多模态大语言模型的发展催生了能操作工具的主动型AI智能体。现有基准多依赖沙盒环境与单轮评估，且基于场景的任务分类混杂多种能力，难以定位失败根源。UniClawBench是首个能力驱动的基准，围绕技能使用、探索、长上下文推理、多模态理解与跨平台协调五项基础能力，设计了400个双语真实世界任务。评测在实时Docker容器中进行，通过细粒度检查点评估，并采用执行、隐藏监督与用户智能体构成的闭环策略模拟多轮人类反馈。该基准与代码已公开。

数字生命卡兹克@Khazix0918

75

OpenAI 发布 GPT-5.6，包含旗舰模型 Sol、均衡模型 Terra 及低成本模型 Luna。ChatGPT 与 Codex 应用正式合并，原 Codex 界面成为新版 ChatGPT 主体，仅保留聊天 Tab。GPT-5.6 Sol 在 Agents' Last Exam 中以 53.6 分刷新纪录，比 Claude Fable 5 高 13.1 分；中等推理模式下以约四分之一成本领先 11.4 分。在 Artificial Analysis 编程智能体指数中，Sol 以 80 分创下标杆，输出 token 减少一半以上，耗时缩短一半以上，成本降低约三分之一。ExploitBench 上得分为 73.5%，网络安全效果接近 Fable 5 但成本极低。Sol 包含在订阅计划中，用户可直接使用。

大语言模型（LLM）正越来越多地充当集成式数据科学智能体，但现有基准测试要么缺乏真实数据分析的符号因果推理，要么缺少基于因果的数据生成结构。CausalDS 是一个评估智能体数据科学工作流中因果推理能力的基准。每个实例包含一个采样的结构因果模型（SCM）、生成的观测数据及合成自然语言故事。任务覆盖 Pearl 三阶梯，多数包含数据科学编码组件，模型需使用多种工具处理不完美观测。基准将“无法回答时主动弃权”作为一等评分项，联合评估符号因果推理、数据科学、不确定性量化、弃权及工具使用/编码能力。

Eric@ericmitchellai

35

Soumitra Shukla: I have now updated this to 5.6 Sol. It's the best model I've used by far. I gave it the same workflow across two differe...

现有基准很少检验AI系统能否理解科学想法的继承结构。IdeaGene-Bench（IG-Bench）是一个用于科学谱系推理和谱系驱动想法生成的基准，基于IdeaGene框架：每篇论文或提案被表示为最小化、带类型、有证据支持的Idea Genome对象集合，GenomeDiff通过六种进化动力学记录继承、突变、丢失、外部引入和新插入。基准包含1,961条黄金谱系轨迹、1,085个Idea Genome对象和920条成对GenomeDiff记录，覆盖10个科学领域。IG-Exam（42种任务类型，1,029个实例）测试封闭式谱系推理；IG-Arena通过谱系条件种群进化分数（PES）评估生成。在14个基于LLM的科学智能体上，最强系统在谱系推理上仅达到27.3%的精确准确率。

向阳乔木@vista8

35

用户让 GPT 5.6 Sol 接手完成了一个在线模型输出对比工具，用于评测文本和前端任务。该工具支持 HTML 和 Markdown 渲染展示、记录每次执行结果以便抽卡比较、流式输出且结果可导出。用户计划今天或明天将其开源。

Orange AI@oran_ge

20

代码家: 测了一下 openai 的新模型 5.6 sol,只能给个顶级,terra luna 只能给个人上人, 夯爆了还得是颁给 fable 。 另外我不明白为什么 openai 这次命名要用三个币圈词汇,是故意的还是不小心?🤔

Elon Musk@elonmusk

50

Composio: Grok 4.5 is the most persistent agent model we've tested. Here's one example: In one of our evals, we asked 3 models (GP...

🚨 AI News | TestingCatalog@testingcatalog

48

AI/ML API: GPT 5.6 Sol & Terra just made Fable 5's pricing look like a joke! We gave OpenAI's top models (Sol, Terra) and Anthropic...

宝玉@dotey

54

用户用相同提示词测试GPT-5.6 Sol Ultra、Opus 4.8、GPT-5.5和Grok 4.5的物理引擎模拟，三个场景：卡车后空翻砸汽车、赛车飞跃公交车撞砖墙、火车断桥脱轨坠水。Sol Ultra生成3.29万token（$0.33），画面仅比GPT-5.5多些细节，但后两个场景物理效果明显更差。结论：花3倍价格得到的是“物理更差、画面稍好”的GPT-5.5。Grok 4.5三项测试搞砸两项，仅“火车脱轨”尚可。

OpenAI 对 SWE-Bench Pro 编码评估进行详细审计，发现约30%的任务存在缺陷。该基准旨在改进 SWE-bench Verified，通过长周期和更真实的编码任务追踪智能体编码能力，但在731个公共任务中，前沿模型的通过率在八个月内从23.3%提升至80.3%。审计通过数据点分析流水线标记了200个（27.4%）问题任务，人工标注进一步识别出249个（34.1%）。缺陷分为四类：过于严格的测试、未充分说明的提示、低覆盖测试、误导性提示。OpenAI 建议模型开发者仔细检查结果。

Databricks 基于内部数百万行代码库（Python、Go、TypeScript、Scala 等）构建编码代理基准，评估真实编码任务的性能与成本。结果显示，性能前沿包含 OpenAI、Anthropic 及开源模型；GLM 5.2 进入最高能力层，质量与 Opus 4.8 持平，但每任务成本仅 $1.28（Opus 4.8 为 $1.94）。Sonnet 5 每 token 更便宜，但消耗更多 token 导致总成本更高。不同 harness（如 Claude Code/Codex 与 Pi）可带来超 2 倍成本差异。模型 token 价格并非实际任务成本的良好指标。

评测对比四款模型在相同提示下生成单文件 HTML 应用的能力。三轮任务中：3D 魔方（Claude Opus 4.8 与 Fable 5 首次成功，Grok 4.5 重试后成功，GPT-5.5 仅渲染单面）、粒子沙盒（GPT-5.5 效果最佳）、打砖块游戏（均一次完成高品质结果）。附加 SVG 测试中 Fable 5 最具创意。速度与成本实测：Grok 4.5 首 token 延迟 0.44s、吞吐 110 tok/s、成本 0.002¢/次，速度性价比领先；GPT-5.5 中位延迟 2.0s、成本 0.004¢；Opus 4.8 均衡；Fable 5 最慢最贵（6.3s 延迟，0.009¢）。结论：Grok 4.5 在速度和性价比上领先，Claude 在复杂状态任务上更可靠。

开放权重模型 GLM 5.2 在英国小企业季度增值税申报测试中，处理 59 笔交易耗时 68 分钟，原始 token 成本 2.73 美元，最终净头寸（Box 5）与人工申报仅差 7 便士。测试使用 Fireworks AI serverless tier（FP16 或 FP8 量化），上下文窗口达 1,048,576 tokens。模型通过预认证 CLI 工具与云端会计软件交互，每笔交易从 6 个维度评分，整体结果基本正确。

🚨 AI News | TestingCatalog@testingcatalog

76

OpenAI: Sol, Terra, and Luna, our GPT-5.6 family of models, are starting to roll out now in ChatGPT, Codex, and the API.

Rohan Paul@rohanpaul_ai

49

Atomic Chat 在 HTML5 物理演示测试中对比 GPT-5.6 Sol Ultra、Opus 4.8、GPT-5.5 和 Grok 4.5，要求生成三个自包含 canvas 场景（怪物卡车后空翻压车、特技车飞越六辆巴士撞墙、火车出轨落水）。输出：Sol Ultra 消耗 32.9K tokens（$0.33），GPT-5.5 仅 12.4K tokens（$0.11），成本为 3 倍但物理效果更弱——画面细节更丰富，却在力、动量、碰撞时机等关键物理表现上不及前代。Opus 4.8 花费 $0.24，Grok 4.5 花费 $0.08 且失败两个测试。该测试揭示普通编码基准隐藏的弱点：模型能用更多 token 描绘丰富场景，却仍无法处理核心物理逻辑。

atomic.chat: GPT-5.6 Sol Ultra lost to GPT-5.5 on physics at 3× the cost! We gave 4 models the same prompt: build three self-containe...

OpenAI 新旗舰 GPT-5.6 Sol 在 Artificial Analysis 的 Intelligence Index 上获 59 分，仅比 Claude Fable 5 低 1 分；在 Coding Agent Index（Codex 环境）中以 80 分位居第一，AA-Briefcase 的 Presentation Elo 得分最高，但整体排名仍落后于 Fable 5。Sol 每次任务成本 1.04 美元，约为 Fable 5 的三分之一。小变体 Terra 和 Luna 成本分别再低 50% 和 80%。GPT-5.6 首次引入缓存写入费，输入/输出 token 每百万 $5/$30（Sol）、$2.50/$15（Terra）、$1/$6（Luna），缓存读取享 90% 折扣。Sol 在智能体编码任务中比同类模型少耗用最多 54% 的输出 token。

Artificial Analysis@ArtificialAnlys

59

昨日 xAI 发布 Grok 4.5，在全新基准 AA-Briefcase（测试智能体知识工作，涉及电子表格、演示文稿、UI 原型等真实任务）上取得 1328 Elo，较 Grok 4.3 提升 578 分，为非 Anthropic 模型最高分，仅次于 Claude Fable 5（1390）、Claude Sonnet 5 max（1390）和 Claude Opus 4.8 max（1354）。同时成本效率领先：每任务平均 $1.12，比 Opus 4.8 max 低 86%；耗时 12.4 分钟，约为其一半，主要得益于仅 23 次交互轮次（仅 Sonnet 5 max 的 13%）。

Artificial Analysis@ArtificialAnlys

69

Artificial Analysis 公布 GPT-5.6 系列评测。Sol（max）智能指数 59 分，比 Claude Fable 5（max）低 1 分，每次任务成本 $1.04，约为后者三分之一。Coding Agent 指数中 Sol（max）以 80 分领先，覆盖 DeepSWE、Terminal-Bench v2 和 SWE-Atlas-QnA 三项评估，成本比 Fable 5（max）低约 40%。Terra（max）和 Luna（max）智能指数分别为 55 和 51 分，成本更低。GPT-5.6 首次引入缓存写入定价，Sol/Terra/Luna 的输入/输出 token 价格分别为 $5/$30、$2.5/$15 和 $1/$6 每百万 token，缓存写入加价 1.25 倍。

Artificial Analysis@ArtificialAnlys

57

Artificial Analysis 与 ServiceNow 联合发布企业级 AI 智能体评测 EnterpriseOps-Gym-AA，基于原始基准适配 Stirrup 框架。任务覆盖 8 个业务域、164 张数据库表、512 个 MCP 工具，通过最终数据库状态的 SQL 检查评分（结果导向）。当前榜单：Anthropic Claude Fable 5 (max) 以 51% 领先，Google DeepMind Gemini 3.5 Flash (high) 50%，OpenAI GPT-5.5 (xhigh) 47%，智谱 GLM-5.2 (max) 43%（开源最高），DeepSeek V4 Pro 和 Kimi K2.7 各 40%。全部模型在 1,117 项 oracle 任务中仅完成约一半，领导者单项检查通过率 79%，完整任务完成率仅 51%。

凡人小北@frxiaobei

26

用户称 Grok 4.5 能力与 Opus4.8 相当，是第三个惊艳模型。前两个：Claude Fable 5 深度远超 Opus4.8，花光一周配额；DeepSeek v4-flash（关 thinking）非编程场景接近 sonnet4.6，花费低。猜测第四个是 GPT-5.6，但用 GPT-5 体验差，问 Google 为何沉寂。

凡人小北: 让我惊艳的两个模型: Claude Fable 5,周末深度用了两天,花光了一周的配额,在深度上这个模型远远超过 opus 4.8,智能的天花板还很高,期待下一个阶段。 DeepSeek v4-flash(关掉 thinking),非编程场...