以下部分引用 AI 总结，现阶段 AI 仍然有幻觉。请以内容的原文为准。

数据新鲜度群聊 07-14 ✓卖方 07-14 ✓Wrap 断档15天 ✕News 07-15 ✓X 断档12天 ✕页面生成 07-15

Agent evaluation

6 atoms · 跨 1 天 · 首见 2026-05-19 · 最近 2026-05-19

三色: 🟦 fact 3 · 🟥 take 3 · stance ▲0/▼0/◆6

来源: X 6

时态: fresh:6

标签: 好观点:4 · 好思考:2

2026-05-19 · 未来指标 '模型直觉' 定义
The article describes something current benchmarks barely measure — Instinct
tags: 好思考 · → daily
2026-05-19 · 安全性成为评估重要维度
If agents can execute tools, manipulate filesystems, send requests, then evals must also measure whether the model knows what it should NOT do.
tags: 好思考 · → daily
2026-05-19 · 稳定性指标 Pass-all-k 定义
Pass-all-k: 'All runs succeed.'
tags: 好观点 · → daily
2026-05-19 · 稳定性指标小差距表示模型可靠收敛
Small gap: → the model converges reliably.
tags: 好观点 · → daily
2026-05-19 · 工程问题中 service-side 不稳定因素
Service-side issues: model endpoint instability, context truncation, rate limiting, browser automation failures, container crashes
tags: 好观点 · → daily
2026-05-19 · 工程问题中 evaluation-side 不稳定因素
Evaluation-side issues: harness mismatch, unstable web search results, environment inconsistency
tags: 好观点 · → daily