Search: #Blog

Karpathy 讲如何成为专家、费曼讲如何检验真懂，本质是同一件事：用输出检验输入。这篇把「先做项目、再补理论、只跟过去的自己比」这套方法对应到神经网络的训练循环——Forward 是先动手，Loss 是和理想结果的差距，Backward 加梯度下降是复盘改进。人和网络最大的不同是面对大 Loss 会痛，所以关键是把「批判行为」和「否定价值」拆开：梯度下降只更新参数（行为、技能），别去炸掉架构（你是谁）。最后两个技巧：把错误序列化地写下来，然后立刻进入下一轮，别反复 Backward 同一个样本而过拟合。

2018 年，那个 GPT-2 都还未出现的年代，我在网上偶然看到了 Two Bit History 的数篇博文，其内容对于刚刚大学入学、接触计算机的我带来了非常多的震撼，各种各样的历史、发展、相关人士信手拈来，在当时也极大激发了我的热情。在当时这种热情的激发下，我花了几个晚上的时间翻译了其两篇文章，甚至还投稿去了煎蛋。不过说实话我的翻译水平确实很烂，当时在煎蛋上就看到了几个类似的评价，现在读来也确实觉得很不通顺。