以下部分引用 AI 总结，现阶段 AI 仍然有幻觉。请以内容的原文为准。
数据新鲜度群聊 07-14 ✓卖方 07-14 ✓Wrap 断档15天 ✕News 07-15 ✓X 断档12天 ✕页面生成 07-15
Nanowhale
8 atoms · 跨 1 天 · 首见 2026-05-07 · 最近 2026-05-07
三色: 🟦 fact 8 · 🟥 take 0 · stance ▲0/▼0/◆0
来源: X 8
时态: fresh:8
标签: 好数字:7 · 好思考:1
事实 (fact) (8)
- 2026-05-07 · 参数规模
Nanowhale 是 HuggingFace 做的 110M 参数小模型
tags: 好数字 · → daily
value: qty=110M
- 2026-05-07 · 训练步数
先在 FineWeb-Edu 预训练 5000 步
tags: 好数字 · → daily
value: qty=5000步
- 2026-05-07 · 训练数据量
2.6B tokens
tags: 好数字 · → daily
value: qty=2.6B tokens
- 2026-05-07 · 预训练损失
loss ~5.3
tags: 好数字 · → daily
value: qty=~5.3
- 2026-05-07 · SFT 训练步数
再在 SmolTalk 做 SFT 3000 步
tags: 好数字 · → daily
value: qty=3000步
- 2026-05-07 · SFT 后准确率
准确率 36.2% → 48.5%
tags: 好数字 · → daily
value: qty=48.5%
- 2026-05-07 · bf16 训练问题
bf16 下 Hyper-Connections 会爆 NaN，得用 fp32
tags: 好思考 · → daily
- 2026-05-07 · 词表对参数占比影响
129K 词表太大，嵌入占了 37% 参数
tags: 好数字 · → daily
value: qty=37%
时间轴 (近 20)
- 2026-05-07 ·
fact · 参数规模 · → daily
- 2026-05-07 ·
fact · 训练步数 · → daily
- 2026-05-07 ·
fact · 训练数据量 · → daily
- 2026-05-07 ·
fact · 预训练损失 · → daily
- 2026-05-07 ·
fact · SFT 训练步数 · → daily
- 2026-05-07 ·
fact · SFT 后准确率 · → daily
- 2026-05-07 ·
fact · bf16 训练问题 · → daily
- 2026-05-07 ·
fact · 词表对参数占比影响 · → daily
← 实体目录 · 系统日志