Elizen

There is only one thing in the world worse than being talked about, and that is not being talked about.

2025 年双周记(三)

Elizen / 2025-02-22


双周记第三篇,与其说是迟到,不如说是单调。在基本适应了目前的工作领域和工作内容之后,会议占据了每周一半以上的工作时间。这些会,又有一半以上和本职工作无关,或者说,这些会是本职工作的延伸。

或许在创业公司中,我所在的角色是很有趣味和挑战性的,我可以跨部门了解全局,但是了解之后,对于人形机器人这种如此新的产业领域,短期内的一切都是虚无,都是试验,到处都是技术突破与创新,很多地方,都不是标准先行的好去处,一切都要给产品,给研发让路,在我看,标准化的工作在产业发展初期,应该退到二线,去做一些供应链或者产业协同的工作,或许是更好的选择。

众多的会议,还是有些乐趣的,可以提供不同的视角观察技术的演进,每周各种例会上吸收新鲜的,可以说是烫手的新东西,新思路,新方案,可以看到朝气蓬勃的同事们热情的投入,倒是一种从未有过的体验。

也让我的思考角度有了一些转向。一方面,我会开始关注,什么样的技术真得有应用前景,或者说,大模型这项技术究竟可以革命哪些产业。Benedict Evans 说:

Which way around is better? Should you control the LLM within something predictable, or give the LLM predictable tools?

哪种方式更优?是应该在可预测的框架内控制LLM,还是为LLM提供可预测的工具?

这是个极好的视角来观察技术对某些传统行业的渗透程度。到底是在已有的链条中增加一个大语言模型的环节来提效,还是让大语言模型作为控制中枢来分配任务给传统的各个可控环节。大模型天然是带有不可控的底色的,而我们却像 Evans说得一样,经过50年的计算机发展,我们已经习惯于期待计算机是「正确无误」的,是可预测的、确定性的系统。我们会轻易改变我们的期望么?

我不知道。但面对底色本就是不确定,天然会出现幻觉的大模型,在了解它的基本技术原理之后,确实可以很好把其作为一面镜子,好好反观一下人类自身。至少万维钢就提出了非常好的一个思路,可以匹配大模型训练的三个环节:

监督微调是模仿和记忆别⼈的解题套路,⽽强化学习才能让你善于举⼀反三:

生活中绝大多数人都属于 SFT(监督微调) 型人才。他们没有经过多少预训练,平时连书都不读,只知道完成学校里教的套路。他们大部分时间是在老师的指导下,通过一道道例题模仿学习。他们习惯按照流程和规范行动,缺乏举一反三的能力。他们学习效率高、成才快,但出来都是专才,没有灵活性。

而通才,则是长期预训练的结果。这些人平时博览群书,见多识广,什么都能聊上几句。但如果缺乏实践,就会是广而不精,一上手就露馅。他们对各种知识都是泛泛而谈,往往没有深度思考能力,甚至从未认认真真做成一件事。

RL(强化学习) 型人才非常稀少,但都极为厉害。这类人是在真实世界中摸爬滚打,通过实践不断总结经验,自己摸索出做事的方法。

……

总而言之,预训练是必不可少的,RL 决定了能力的上限;而 SFT,不过是一个方便法门罢了。

这几乎就是一切教育的缩影。


结束一些杂乱无章的思考和记录,回到生活本身,我观察到嘟嘟特别容易沉迷,之前的恐龙、火车和奥特曼,他几乎在极短的时间内,通过大量的自主学习,吸收了一切他能理解的部分。

他可以轻易分清楚从泥盆纪开始到白垩纪晚期所有阶段的恐龙分类、喜好和特点,可以在几周之内认识几乎全部奥特曼和他们的攻击属性和技能。最近,他开始沉迷哈利波特,我们从「哈利·波特与魔法石」开始,已经看到「哈利·波特与火焰杯」,他甚至通过 B 站,已经学习完了后面的基本故事情节和关键部分,以及几位主角演员的成长历程、斯内普和一些剧中人物的小传,当然,还有不可或缺的各种魔法咒语。

我把沉迷换成另一个词,也许更好理解,对于他感兴趣的内容,他特别容易专注。小朋友们往往心无旁骛,唯一的追求就是让自己开心,如果,可以把那些繁杂,枯燥无味的教育和必修课,变成他感兴趣的内容,那学习这件事,似乎就既开心,又高效。至少目前,数学有点这样的味道了。

这两周,除了哈利波特,还带他去看了「哪吒 2」,这也是他第一次全程没有出现任何问题,没有烦躁情绪地看完的第一部院线电影。同样,他已经学会了大部分里面的歌曲。我是极度私心地希望他能爱上电影和篮球的,但又不想过分干预和影响他。

找到这样的平衡点,就是我的课题吧。

除此之外,这两周里听说了一个美丽的故事:

张曼玉在「花样年华」的一次访谈中回答记者提问,记者说导演在影片最后增加了与影片无关的戴高乐访问柬埔寨,是想表达自己的政治立场么?张曼玉答到,电影就像是显微镜,它过度聚焦于两个人之间的故事,但人在世界上是无比的渺小,结尾导演只是把镜头拉远,让大家知道,世界上还有很多很大的事情。

袁长庚在知行小酒馆里也说到,小津安二郎在日本战后的电影中有很大的能量,恰恰是因为在日本整个思想陷入绝望之后,他告诉人们,我们还是要这样生活,要吃米饭,要吃秋刀鱼,这一切都没有变化,要在生活的细节里继续。

至于这两周其他零零碎碎的事情,大概如下:

以上,2025 年双周记第三篇。