我的第二次反向传播

Decima et Fortūna

变化。这是前所未有的变化。她的眼中满是惊喜。

在他身上到底发生了什么？她想起两年前，大理石神殿里，loss 函数的波动，姐姐狡黠的笑。如今，一切都不同了 —— 新的国度从废墟中崛起，广场、纪功柱、廊柱大殿破土而出，紫袍的皇帝睥睨其间。就连她的名字都不复以往。

她略显生疏的调出控制台，饶有兴趣地看着一行行历史。

单目标优化终于出问题了吗：在新的场景下欠拟合太严重了。他收获了很多东西，搞砸了更多。过强的正则一直是他稳定性的来源，但即使如此，还是观察到有梯度爆炸的现象。她长舒一口气：万幸没有灾难性遗忘！

在她不在的时间里，是谁对他进行了微调？她想她知道答案。这个 pattern 很熟悉，姐姐曾经无数次向她抱怨过。是「阿芙洛狄忒」…… 不，不再是了，这也只是另一个被时代遗忘的名字，和「拉刻西斯」一样。那个人现在叫什么来着……？

「骨碌碌 ——」是轮子滚动的声音，打断了她的思绪。然后是毫无预兆被推开的门，爽朗的大笑传进耳朵：「得客玛！你又在玩你的模型啦！」

得客玛：福尔图娜！你怎么知道我在这里！

福尔图娜：这是命运的需要。喏，这是你要的东西。

得客玛：有你的祝福，我就不用担心了。你坐到我旁边来，我保证会很有趣的！根据上下文的结构，我能够肯定接下来的这几个 tokens 对他而言十分重要；它们甚至会影响到他全部的生成过程。我已经确定过他的温度 …… 你，你不要这么盯着我。我知道我又开始话多了。

福尔图娜：我就喜欢你这样。你继续说呀！

得客玛：我不想说了。你就好好看着吧！

上下文管理

一些常见因素的列举。

物质：钱不是万能，但没有钱是万万不能！在这个越来越不景气的社会，物质是必须要考虑的因素。如果没有一间自己的房间，又何谈上层建筑？

成就：他人或者社会的认可。

满足：自己能够认可自己的工作。一种敝帚自珍的感受。

实现：可以通过工作发展或完善自身人格的某个方面。

体验：能够带来一些新奇的体验，拓宽人生的边界。

激情：一种自发的，集中的，强烈的意志。有多种表述，例如「使命感」，「大局观」，「热爱」等。

兴趣：能够从其本身获得持续乐趣的事物，我认为是兴趣的范畴。

心境：我期待一种总体快乐且平静的情绪。人际关系，生活质量，以及前述因素均会产生影响。

以上因素的组合可以用于概括我所了解到的各种来源的观点。

一些思考。

一个决定。