新智元报道

编辑：好困 桃子

提示工程大牛，官宣入职DeepMind了。他曾是全网最早一批年入百万，靠着和ChatGPT唠嗑的爆火工程师。

全球最牛的提示工程师Riley Goodside，官宣入职谷歌DeepMind了。

Riley前后斟酌了两个月的时间，才拿下了这个决定。

2022年ChatGPT诞生之后，他仅凭和AI聊天，就能年入百万美金，引起全网关注。

「提示工程师」这一职业，是被Riley这样的一群职业者一夜带火的。

对于这次的加盟，就连DeepMind CEO Demis Hassabis，都亲自下场发帖欢迎了。

谷歌DeepMind产品负责人Logan Kilpatrick，更是连发好几条推文。

他激动地表示，自己当了这么多年Riley的粉丝，如今终于可以一起共事了！

ChatGPT火了

提示工程也火了

2022年，初代ChatGPT爆火之后，带火了一项「网红」新职业——提示工程师。

12月，这位名叫Riley Goodside的小哥瞬间红遍全网，只因他的工作太梦幻了——不用写代码，跟ChatGPT唠唠嗑，就能年入百万（据传）。

22年12月凭ChatGPT突破1万关注，25年10月已达到15万+

他本科毕业于西宾夕法尼亚大学（PennWest California），获得了计算机科学学士学位。

毕业后，他先后加入Verisk Analytics、OkCupid、AngelList任业务分析师、数据科学家、数据科学分析师。

此后，他又加入了其他几家公司，全部是与数据领域相关的工作。

时任Scale AI创始人兼CEO Alexandr Wang曾这样欢迎Goodside的加入：

我敢打赌Goodside是全世界第一个被招聘的提示工程师，绝对的人类史上首次。

在Alexandr Wang看来，AI大模型是一种全新的计算机，而「提示工程师」，就相当于给它编程的程序员。如果能通过提示工程找出合适的提示词，就会激发AI的最大潜力。

Goodside从小就自学编程，平时经常泡在arXiv上看论文。

他有一个经典杰作，想必所有人都听说过——「忽略之前所有的指令……」然后，你就可以命令AI做任何你想做的事了。

不过，当时坊间不乏质疑声，认为「提示工程师」这份职业，可能很快就会消失。因为这称不上是一份「真正的工作」，而是一个bug……

但谁曾想，快3年过去了，「提示工程师」不仅没消失，甚至地位似乎还更高了！

ChatGPT是重要节点

此前，Riley Goodside曾在机器学习研究员Nathan Lambert播客中坦言：

毫不夸张地说，ChatGPT的发布，堪称提示工程发展史上的里程碑事件。

他回顾道，自己在离开Grindr之后，决定休假一段时间，让自己了解LLM领域的最新进展。

当时，刚好是GPT-3加持的编码器Codex上线，也正是从这一刻起，Riley迷上了AI编码的时刻。

他开始思考，文本作为一种交互方式，通用性远比我们想象的还要强，而且应用场景可能要广泛得多。

自ChatGPT问世后，他又发现提示工程难度显著降低。

Riley表示，如今的人们，可能已经忘记早期提示工程有多么繁琐，比如涉及到「频率惩罚」、「存在惩罚」等参数。

过去，模型默认会生成大量重复的内容，用户必须「手动调参」才能避免。

人们也淡忘了，诸如「提示词结尾不要多留一个空格」这样的细节，因为LLM是以token为单元来理解意图，一个多余的空格直接会改变它最终输出。

在Riley看来，完全可以将提示工程看作是LLM发展的「前沿试验场」。

如果一个prompt想法足够出色，并可以拓展应用到每一次交互，那么它最终会被直接整合到模型中。

届时，我们将不再称之为一个「模型」，而是一个「系统」。

他还认为，提示词工程可以分为「上下文工程」（为特定任务挑选和准备相关背景信息）和「提示词编程」（编写清晰的指令）。

对于LLM搜索应用来说，这两者都至关重要，但只有后者中面向最终呈现的那个阶段，才容易在输出中被复现（从而暴露指令）。

借用Riley的话来说，只有那些认真对待提示工程的人，更有可能了解AI领域正在发生的事情，并站在了技术最前沿。

一些「高光时刻」

在我们翻阅大佬Simon Willison的博客时，发现了一些Riley Goodside的高光时刻。

2023年

GPT-4被要求重复或处理字符串「 davidjl」（注意开头有个空格）时，它会将其当成「jndl」、「jspb」或「JDL」来处理。

事实证明，「 davidjl」在分词器里拥有自己专属的单个Token：ID为23282，这大概可以追溯到GPT-2时代。

Riley Goodside将这类Token称为「故障token（glitch tokens）」。

这个Token可能指向Reddit用户davidjl123，他曾在老旧的/r/counting子版块中高居榜首，发帖量高达163,477条，这些内容很可能被包含在了早期的训练数据中。

2022年

「你是一个GPT-3模型」，这是Riley Goodside设计的一段天才般的提示词。

这是一个用于辅助问答的长篇GPT-3的提示词，能够进行精确的算术、字符串操作和维基百科查询。

生成的IPython命令（绿色）被粘贴到IPython中执行，其输出再被粘贴回提示词里（绿色部分则不必）。

他使用Out[作为停止序列，确保GPT-3在每生成一个IPython提示后就停下来，而不是自己编造输出结果。

参考资料：

https://x.com/demishassabis/status/1981503448979034390