以下部分引用 AI 总结，现阶段 AI 仍然有幻觉。请以内容的原文为准。
数据新鲜度群聊 07-14 ✓卖方 07-14 ✓Wrap 断档15天 ✕News 07-15 ✓X 断档12天 ✕页面生成 07-15
DeepSeek MoE
9 atoms · 跨 5 天 · 首见 2026-05-02 · 最近 2026-06-30
三色: 🟦 fact 9 · 🟥 take 0 · stance ▲2/▼0/◆1
来源: X 9
时态: fresh:9
标签: 好数字:5 · 好思考:3 · 好问题:1
事实 (fact) (9)
- 2026-06-30 · 训练使用硬件
trained entirely on domestic ASICs
tags: 好思考 · → daily
value: direction=exclusively
- 2026-06-30 · 推理使用硬件
inference is entirely on ASICs
tags: 好思考 · → daily
value: direction=exclusively
- 2026-06-30 · 上下文窗口
1M context window
tags: 好数字 · → daily
value: qty=1M
- 2026-06-29 · 训练数据量
trained on 35T tokens
tags: 好数字 · → daily
value: qty=35T · unit=tokens
- 2026-06-29 · 模型规模
1.6T MoE
tags: 好数字 · → daily
value: qty=1.6T
- 2026-06-29 · 训练无回滚无不可恢复损失峰值
no rollbacks or irrecoverable loss spikes
tags: 好数字 · → daily
value: direction=positive
- 2026-06-21 · 最优批量
optimal batch for a deepseek-shape MoE is ~2400 concurrent sequences
tags: 好数字 · → daily
value: qty=2400 concurrent sequences
- 2026-05-02 · 研发重点
DSMoE: how to make FFNs efficient.
tags: 好思考 · → daily
- 2026-05-20 · moe_output 计算方式
_they do moe_output = (routed_output + shared_output)/2_
tags: 好问题 · → daily
时间轴 (近 20)
- 2026-06-30 ·
fact · 训练使用硬件 · → daily
- 2026-06-30 ·
fact · 推理使用硬件 · → daily
- 2026-06-30 ·
fact · 上下文窗口 · → daily
- 2026-06-29 ·
fact · 训练数据量 · → daily
- 2026-06-29 ·
fact · 模型规模 · → daily
- 2026-06-29 ·
fact · 训练无回滚无不可恢复损失峰值 · → daily
- 2026-06-21 ·
fact · 最优批量 · → daily
- 2026-05-20 ·
fact · moe_output 计算方式 · → daily
- 2026-05-02 ·
fact · 研发重点 · → daily
← 实体目录 · 系统日志