小说《注释》·第13—15章
本文含AI辅助创作内容。人物、公司及情节均为虚构。
第13章 看全句
二〇一八年十二月三号,方晴把一摞打印的纸放在沈聿桌上。
「谷歌十月放出来的。两个月了。」她说,「换。」
那是一篇论文,英文,三十几页。沈聿翻了两页,图上是一层一层的方块,方块之间画满了线。他英文读得慢,一页要查七八个词。方晴不用查,她在北京五年读的就是这种东西。
「换什么。」
「意图识别底下那层。词向量不要了,换这个。」
「这个叫什么。」
「BERT。」她说,「四个英文字母,谷歌起的名。你就当它是一个已经读过几十亿个词的模型,读完了,等人来教它干具体的活。」
沈聿把那摞纸放下。「我先弄懂。」
「弄懂要多久。」
「一个星期。」
「换它要两天。」方晴说,「效果先拿到。你懂不懂,用户不管。」
「上线的是我。」沈聿说,「它错了,我得知道它为什么错。」
「你现在那个九成一,你知道它为什么错吗。」
「知道。一词多义。」
「那你知道了,修好了吗。」
沈聿没有说话。小魏和新来的两个人都低着头。这是他和方晴第二次吵。第一次是穿越,隔了快两年。他想,两次吵的其实是同一件事:她要的是结果先到,他要的是路先看清。
「这样。」方晴说,「你弄你的,我换我的。一个星期后比。」
她带小魏和新来的两个人换,用机房那块卡。沈聿一个人弄他的。
第一天下午,机房那边就出了事。谷歌放了大小两个版本,方晴先拿大的,一跑,卡上的内存装不下。老曹从机房打电话上来:「又要买卡?」顾建平正好在旁边,说了一句:「去年说好的,不买第二块。」方晴没争,换了小的那个,一句多余的话没有。沈聿在旁边听着,想的是另一件事:去年那块卡,宁城用完了,果然还有别的用。
他做的第一件事,是把那个读过几十亿词的模型当一本更好的字典。他把每个词喂进去,取出来一串数,替掉原来的词向量,其他不动。跑完,九成二。比原来高一个点。
他觉得不对。谷歌那篇论文里的数不是高一个点,是高一大截。
他把『苹果』喂进去,取出一串数。又把『苹果碎屏了』整句喂进自己那套流程,单取『苹果』那串。两串一样。他这才明白他干了什么:这个东西的本事是读全句,他的流程每次只喂给它一个词,等于请了一个读书人来,只让他翻字典。
方晴那边第三天出结果。九成六。
她没说什么,把两个数写在白板上,并排。沈聿看着那两个数,问了一句:「你们怎么用的。」
「不取数。整个模型拿过来,后面接一个分类的小头,拿乐购那八千多条标好的数据,从头到尾训三轮。」她说,「它自己会调。」
「整个模型都动?」
「都动一点。小步。」
沈聿回到座位,把那篇论文从第一页重新看。这一次他看的不是效果,是它到底做了什么。
第五天,他把方晴叫到白板前面。他画了一句话,七个词,横着排开:苹果、坏、了、能、退、吗、十斤。
「原来的词向量,『苹果』是一串数,一辈子就这一串。在这句话里是它,在『苹果碎屏了』里也是它。」
他从『苹果』往每个词画了一根线。「这个东西不一样。每个词伸出一根线到全句每个词,问一句:你跟我有关系吗。有关系,线粗。没关系,线细。」他把到『十斤』的线描粗,到『吗』的线画得很细。
「然后『苹果』这串数不再是字典里那串。它把全句每个词的数按线的粗细掺进来,重新算一串。掺了『十斤』,它就往水果那边挪。换一句『苹果碎屏了』,掺的是『碎屏』,它往手机那边挪。」
「这叫注意力。」方晴说。
「每个词看全句。」沈聿说,「不是看旁边几个,是全句都看,看完自己定看谁多一点。」
「去年谷歌另有一篇,整个架构就只用这个,别的都扔了。」方晴说,「这个是站在那篇上做的。」
「词序呢。」小魏问,「『我打他』『他打我』,线不一样吗。」
「每个词还带着自己是第几个。」沈聿说,「不然它就是一堆词,不是一句话。」
「一层不够。」沈聿接着画,「看完一遍,每个词都是新的一串数,再看一遍,线重新算。十二层。上一层的『苹果』只知道旁边有『十斤』,下一层的『苹果』知道『十斤』旁边还有『退』,是要退水果。」
「几组线。」方晴补了一句,「每层不止一组。一组看谁跟谁挨着,一组看谁是谁的东西,各看各的,最后合到一起。」
沈聿点头。这个他看到了,但没画出来,他画一组已经够乱了。
「那它怎么学会看谁。」小魏问。
这是沈聿第六天想通的。
「填空。」他说,「拿几十亿词的文章,每句话遮住几个词,让它猜。猜错了,改旋钮,包括那些线怎么画。猜几十亿次。要把空填对,它就得学会看全句,『苹果』后面遮住的是『坏』还是『碎』,得看前后有没有『斤』。」
「这就是它读过的那几十亿个词。」方晴说,「预训练。先读万卷书。」
「读的什么书。」
「网上的百科,加上几千本书。谷歌拿几十块卡读了几天。」她说,「我们读不起。我们只读得起最后那八千多条。」
沈聿想了一下这句话。读万卷书的钱是别人出的,他们出的是学一件事的钱。这笔账顾建平会喜欢。
「读的时候没人告诉它什么是退款。」
「没有。它读的是填空,什么都不会,只会填空。会填空的意思是它知道每个词在什么句子里怎么用。」她说,「然后你拿八千多条乐购的数据教它认退款,这叫微调。它不是从头学,它已经认字了,你只是教它一件具体的活。」
「所以你们训三轮就够了。」
「三轮就够。多了背答案。」
沈聿看着白板。他去年做词向量,三百万句话跑一夜,学会的是每个词旁边常出现什么。这个东西读了几十亿词,学会的是每个词在每句话里该看谁。词向量是一本字典,这个是一个读过几十亿词的人,你给他一句话,他先读全句,再告诉你每个词在这句里是什么意思。
「你那一个星期,」方晴说,「值不值。」
「明天告诉你。」
第七天他去看方晴那版的错例。九成六,还有四个点错。他挑出一百条错的,一条一条看。
头十几条,是用户自己没说清,人也认不出。再十几条,是两类意图本来就挨着,改地址和改订单,客服自己也分不清。这些他记下来,没办法。看到第二十几条,他停住了。
那些错的里,有三分之一是长对话。用户前面说了五六句,最后才问要退。他的流程是把前面两句和订单信息也喂进去,但这个模型一次最多读多少个词是有数的,超过的部分从后面截掉。前面的话把位置占满了,用户真正问的那句被截没了。
他把截的方向调过来,从前面截,把最后一句保住。前面的话丢一点没关系,用户要的事在最后一句里。重跑,九成七。
他把这条拿给方晴看。她看了一会儿,说:「值。」
然后她说了另一句:「我换的时候没看错例。我看了指标,指标够了就停。」这不是道歉,她不道歉,这是她把账记下来了。沈聿也把账记下来:她两天拿到的,他一个星期才看懂。看懂了以后,他能做的是她没做的那一件。
顾建平听说到了九成七,问什么时候上乐购。方晴说明年年中。顾建平说周明远等不了。方晴说那就先上一半的问题,只答查物流和退款进度,答不了的转人工。顾建平想了想,说这个周明远能接受,他要的是替掉一半,不是全部。
那天晚上沈聿留下来,把两句话喂进去:苹果坏了能退吗,十斤。苹果碎屏了能修吗。取出两个『苹果』的数,各找邻居。第一个的邻居是香蕉、生鲜、红富士。第二个的邻居是手机、屏幕、保修。
同一个词,两串数。去年五月那个坑,填上了。不是他填的,是谷歌填的,他只是弄懂了它怎么填的。
他坐了一会儿。方晴看一篇论文两天就敢换,他要一个星期才敢说自己懂。这半拍他追不上,也不想追。他追的是另一件事:换上去的东西,坏了的时候他得知道往哪看。今天那一百条错例,他知道往哪看。
他打开那个叫「注释」的文件,拉到最后,写下一行:先读万卷书,再学一件事。
第14章 坏例子
二〇一九年六月十一号,周明远的电话打到顾建平手机上,开着免提。
「答非所问。」周明远说,「用户问东西到哪了,它回退款流程。用户问能不能换货,它回优惠券怎么用。我们客服现在一半时间在给你们的机器道歉。」
智能客服是五月底上的乐购,先上一半的问题。上线十天。
顾建平把电话放下,看着方晴和沈聿。算法组这时候十一个人,一个月前拆成两半,方晴带七个做模型,沈聿带小魏和另外两个做工程,顾建平给的名头叫算法工程负责人。公司三百二十人,这是顾建平最近常说的一个数。
「评测集上多少。」顾建平问。
「九成七。」方晴说。
「那他说的是什么。」
沈聿先做了一件事,他把线上十天的对话拉下来,抽了两百条,一条一条看。看到一半他说:「用户乱问。」
『东西呢』。『咋整』。『昨天那个』。三个问号。一张图片。『亲在吗在吗在吗』。『我要退这个然后那个能换不还有运费谁出』。
「评测集里没有这种话。」他说。
「评测集是怎么来的。」方晴问。她知道答案,她是问他。
「乐购的产品经理写的。每个意图写两百句。我们留了两成当评测。」
「产品经理怎么写的。」
沈聿调出来一条:『我想查询一下我的订单物流信息』。
「用户会这么说话吗。」
不会。沈聿知道不会。他去年就看过三百万句真实对话,他拿来训了词向量。但那三百万句没有标签,没人知道每句话用户要什么。标签是产品经理写的,产品经理写的是产品经理的话。
「所以是两种语言。」方晴说,「我们考的是一种,用户说的是另一种。考了九成七,是那种语言的九成七。」
沈聿的第一个办法,是把转人工的门槛提高。模型没把握的,直接转人。改了,答非所问少了,转人工率从三成变成七成。周明远第二个电话来得更快:「七成转人工,那我要你们干什么。」
第二个办法,让产品经理再写两千句,写得口语一点。写完训了,评测集九成八,线上还是那样。产品经理写口语,还是产品经理的口语。
方晴看着这两个办法,没说错,说了一句:「你在改考卷。用户不考这张卷。」
「那怎么办。」
「去坐着。」她说,「去乐购,坐在客服旁边,看用户怎么说,看客服怎么答。」
沈聿去了一个星期。
乐购客服中心在江宁,一层楼,一百多个格子。他坐在去年那个组长旁边,组长姓吴,一天接两百多个对话。他带了一个本子。
第一天他什么都没记,只是看。用户的话从屏幕上滚过去,和他抽的那两百条一样。不一样的是吴组长的下一句。她打字很快,一句话打完,用户还没回,她已经在另一个窗口里答下一个人。八个窗口轮着来。
『东西呢』。吴组长回:亲是问昨天那单的物流吗。用户:对。
『咋整』。吴组长往上翻了三句,用户前面发过一张破损的图。吴组长回:给您走换货。
『昨天那个』。吴组长回:亲是昨天下的那单要取消吗。用户:不是,昨天那个优惠券没用上。
沈聿在本子上记了第一条。他记的不是用户的话,是三样一起:用户的话,吴组长追问了什么,最后办的是什么事。
第二天他明白了自己缺的是什么。问法他有三百万句。他没有的是三百万句里用户到底要什么。这个答案不在用户嘴里,在客服的下一句里。
第四天有一条,吴组长自己也停了。用户发:『那个还能弄吗』。吴组长往上翻了六句,没有订单,没有图,只有三天前一句『优惠券过期了』。她问用户:亲是说过期的券吗。用户没回。她等了一分钟,把对话关了。
「这种呢。」沈聿问。
「不知道。」吴组长说,「我也是猜。猜对了他就接着说,猜错了他就骂。」
沈聿把这条也记下来,第三样写的是:不知道。回来分堆的时候他觉得,这条是三百条里最要紧的一条。标签不是天上掉下来的,是人猜的,人也有猜不出的时候。
一个星期,三百条。每一条三样。
回来他把三百条摊开,分堆。这是方晴教的,她叫它坏例子分析:错的先别修,先分,看哪一堆最大。
一句里问两三件事的,七十多条。错字和语音转的字,『腿款』『退宽』『物留』,五十多条。没有主语,『到哪了』『能退不』,要看前面的订单才知道说的是什么,四十多条。发图片发表情不说话的,三十条。真正新的意图,『投诉』『找人工』『你是机器人吧』,评测集里根本没这几类,三十条。剩下六十条,是模型真的认错了。
「六十条。」他对方晴说,「三百条里模型真错的只有六十条。剩下的是它根本没见过这种题。」
方晴看着那六堆。「先修最大的。」
沈聿带小魏他们修了两个星期。一句多问的,先拆成几句,一句一句认。错字的,拿拼音相近的词做一张替换表,进模型之前先换。没主语的,把这个用户最近的订单和前三句一起喂进去,这是去年『苹果』那一套。图片和表情,不认,直接转人。新意图,加三类,让吴组长他们标了五百条。
模型真错的那六十条,他给方晴。方晴看了一天,改了微调的两个旋钮,四十条对了。
方晴做了另一件事。她把评测集扔了,从吴组长他们标的那些真实对话里重新留出一千条,当新的考卷。新考卷上,改完的模型八成四。
「八成四。」顾建平看着这个数,「上个月还是九成七。」
「上个月是自己考自己。」沈聿说,「这张卷是用户出的。」
「周明远看得懂吗。」
「他看得懂线上。」方晴说,「线上什么样,这张卷就什么样。以后报给他的就是这个数。」
上线,一个星期,答非所问从三成掉到一成一。周明远没打电话。
「不是模型变好了。」方晴在组会上说,「是它头一次见到真题。」她看着大家,「模型不会自己变好。它上线那天是它最蠢的一天,之后的每一天,它要么被喂了新东西,要么就停在那天。」
「所以要一直喂。」小魏说。
「一直喂。」她在白板上画了一个圈,「线上错了,收回来,标,训,再上。转一圈,好一点。再转。这叫数据飞轮。你不推,它不转。」
沈聿把这个圈做成了一套东西。方晴画的是圈,他做的是圈上每一格谁来做、什么时候做、做完放哪。每天夜里,把当天转人工的对话和用户回了『不是』『答非所问』『找人工』的对话收下来。第二天早上,吴组长那边的三个客服每人花二十分钟,标一百条。每个星期五训一次,星期一上。他给吴组长做了一个标注的页面,一条一分钟,点一下。
「这个页面比你们模型有用。」吴组长说。
「没有它,模型永远是上线那天的模型。」
周明远为这三个客服每天一个小时算了一笔账,算完说行。顾建平在旁边听着,回来说了一句:「他肯出人,说明他信了。上次他信我们,是二〇一五年那个对照试验。」沈聿记得那次,一半用户看新推荐,一半看老的。这次不是。上线前后不是同一批人同一周,他知道这个数不如二〇一五年那个硬。周明远信的,是三个客服每天一小时换来的东西。
赵鹏是六月底走的。
他请沈聿在楼下吃了一顿饭,两个菜。「杭州,翻一倍。」他说,「不是我要走,是这个数摆在那。」
「那边做什么。」
「后端。跟这边一样,就是人多十倍,机器多一百倍。」赵鹏吃了一口菜,「你也该动了。你们那个组,方晴在上头,你就是天花板了。」
「我慢。」沈聿说。
「大厂不要慢的。」赵鹏说,不是损他,是说实话。「那边一个需求三天,你三天还在看例子。」
沈聿没有接。他不觉得赵鹏错,也不觉得自己该动。他想的是本子上那三百条。三百条是他一个星期坐出来的,快不了。方晴两天换了一个模型,赵鹏一顿饭换了一个城市。他一个星期换了三百条真题,每一条三样。
赵鹏走的那天晚上,沈聿留在公司,把飞轮第一周标回来的六百条看了一遍。里面有一条:『你们这个机器人比上星期聪明了一点』。他不知道该归哪一类。他没有归,留在那。
他打开那个叫「注释」的文件,拉到最后,写下一行:模型上线的那天,才开始学真东西。
第15章 线上
二〇二〇年三月九号,顾建平把沈聿叫进办公室,门关上。
公司二月底才复工,进门量体温,工位隔一个坐一个,会议室不许超过五个人。顾建平的办公室里只有他们两个,都戴着口罩。
桌上一张纸,打印的,三列:部门、名字、签字。签字那一列大部分是顾建平的字。交付部那一栏,第一行,郑怀谷,签字是郑怀谷自己的。
沈聿看着那三个字。
「他自己写的。」顾建平说,「一月底疫情起来,交付部的项目停了一半。他说留他不如留两个年轻的。」
「你同意了。」
「我没同意。他签了,我就没法不同意。」顾建平把纸翻过去,「三成。二百二十人。算法组十一个,你和方晴报三个。」
「什么时候。」
「月底。」
沈聿下楼。交付部在四楼,一半的桌子已经空了,剩下的人戴着口罩,隔一张桌坐一个。郑怀谷在靠窗那张桌子收东西,东西不多,一个烟灰缸,几支白板笔,一件外套。《代码大全》不在,那本书二〇一六年年底就在沈聿桌上了。
「郑总。」
「嗯。」
沈聿站了一会儿。「为什么。」
「名单上总得有人。」郑怀谷把白板笔装进外套口袋,「我五十了。回去种菜不亏。」
「扬州?」
「扬州。家里有块地,荒了十年。」
「你那个客服的模型,」他忽然问,「夜里谁看着。」
「我。」
「你会半夜起来?」
「会。」
郑怀谷没说信不信。
他把烟灰缸拿在手里,看了看窗外,又放回桌上,不要了。「机房那台机子,风扇该换了。跟老曹说。」
「好。」
他走的时候没有回头,也没有握手。疫情期间没人握手。沈聿看着他下楼,想起二〇一四年七月自己第一天上班,他站在身后看屏幕,说你不知道为什么就不该动。六年。他没有再往下想。
顾建平第二天又叫他:「运维走了两个,剩老曹和小马。算法组的线上,以后你自己盯,出了事你接电话。」
沈聿去找老曹。先说了风扇的事。老曹说知道了,郑总走之前也跟他说了一遍,同一句话。然后老曹问他:
「你那两个模型,怎么上的。」
「客服那个在我们自己机器上。每个星期五晚上,我把服务停掉,新模型拷上去,盖掉旧的,再起来。三分钟。」
「诚益那个呢。」
「在他们机器上,一样,拷过去盖掉。」
「版本呢。」
「没有。」
「回滚呢。」
「盖掉了,就没有旧的了。」
「监控呢。」
「分数分布有一张报表,每天早上发。延迟没看过。」
老曹看了他很久。「你这个不叫上线,叫上传。」他说,「上线的意思是,你走了,它还在跑,跑坏了有人知道,知道了能退回去。你这个,跑坏了谁知道。」
「乐购打电话。」
「那就是乐购在给你做监控。」
那个星期五,沈聿照旧上了新模型。飞轮转了九个月,每周一版,这一版和前面几十版没什么不同。他顺手改了一个地方:服务原来是攒一批请求一起算的,一批一百条,他改成来一条算一条。他测过,一条一条算,每条快三分之一。
十一点上的。他自己敲了几十条,都对,延迟比上周低。他回家了。
凌晨一点二十,老曹的电话。乐购那边的超时报警是接到老曹手机上的,去年客服上线的时候老曹自己要求接的,他说反正他也睡不踏实。
「排队了。」老曹说,「乐购那边报超时,一分钟报了四百次。」
沈聿从床上坐起来。乐购每天凌晨一点把当天的五万条对话再跑一遍,做质检报表。五万条,一起来。
「退回去。」老曹说。
「旧的盖掉了。」
电话那头安静了两秒。「你等着。」
老曹每天夜里两点把那台机器整个备一份,备了三年,没人要求他备。前一天夜里两点的那一份里,有上一周的模型。他把那一份拉出来,找到模型,拷回去,起服务。凌晨两点零五分,排队清了。
沈聿在电话里听着他敲键盘,一句话没说。他想起二〇一七年三月自己写的那个每天存一份客户表的任务,老曹当时说这叫存证,出了事翻得出来。今天翻出来的是他自己。
挂了电话他没睡。他把这一夜写下来,几点上的,改了什么,几点报的,几点退的,退到哪一版。写完发给老曹和方晴。这是他第一次给一次事故写记录。
第二天早上老曹没骂他。老曹在白板上画了一个银行窗口。
「一个窗口,一个人办事三十秒。这是延迟。」他在窗口前画了一排人,「一千个人来,这个窗口一小时办一百二十个。这是吞吐。这个窗口原来是一次收一百份一起盖章。你昨天干的事,是改成一份一份盖,一份是快了,一百份慢了。然后五万个人一起来。」
「一条一条算,每条快。一百条一起算,每条慢一点,但一百条一起出来。」沈聿说,「显卡是几千个笨人,一次给它一条,几千个人闲着几千个。」
「你早知道。」
「我知道每条快。没想到五万条一起来。」
「延迟是一个人等多久,吞吐是一秒钟办多少人。」老曹说,「两回事。你白天测的是延迟,夜里来的是吞吐。」
「攒一批也有代价。」沈聿说,「一条来了,得等凑够一百条,或者等几十毫秒,凑不够也走。白天人少,等的那几十毫秒就是白等。」
「那就白天少攒,夜里多攒。」老曹说,「这是你的事,不是我的事。我的事是你改这个的时候,得有人知道你改了。」
沈聿点头。这个道理不难,他难在从来没在夜里一点看过自己的服务。
两个星期,办公室大半是空的,他和老曹把这套东西做了一遍。晚上叫外卖,外卖送不进楼,下去拿,门口保安量一次体温。老曹做机器那半,沈聿做模型那半,中间那条线两个人一起画:模型从哪出来,到哪算上线,谁能按那个按钮。
版本。每个模型带一个号,上一版、这一版、下一版,三份并存,不盖。切换只改一个指向,退回去也只改指向,十秒钟。
灰度。新版本先接一成流量,其余九成走旧的。看一天,延迟、报错、十个格子的分数分布,三样都不漂,再放到一半,再放到全部。「先放一小撮人。」老曹说,「一小撮人骂你,比五万个人骂你便宜。」
监控。三样,延迟、报错、分布,每样一根线,线出格就打电话,先打沈聿,一分钟不接打老曹。
回滚。一个按钮,不用找老曹的备份。
老曹看着做完的东西,问了一句:「诚益那边呢。」
「他们的机器,我们改不了。」
「那就写下来。」老曹说,「他们那边怎么上、怎么退、退到哪一版,写下来给他们。他们不做,出了事是他们的,做了,出了事是你的。」
沈聿写了三页。诚益的信息部看了,说他们也照这个做。
方晴来看了一次。她把三根线看了一遍,把十个格子看了一遍,说:「这个二〇一七年就该有。」
「二〇一七年我不知道要有。」
「我也不知道。」她说,「北京有专门的人做这个,我没做过。」这是她第一次说自己没做过什么。
三月底,算法组走了三个人。沈聿和方晴一起定的名单,定的时候两个人都没多说话。名字是方晴写的,沈聿签的字,他签的时候想起了郑怀谷那三个字。飞轮照转,每周一版,灰度一天,全量。
四月第一个星期五,新版本在一成流量上跑了一天,报错那根线晚上十点抬了一下,出格了。电话打过来的时候沈聿在家。他打开页面,按了回滚,十秒。第二天查,是替换表里新加的一个错字规则把一个正常的词也换了。修了,下周再上。
没有人给乐购道歉,乐购不知道这件事。一成流量里那几百个人,等了十秒,重发了一次。老曹第二天早上看了记录,只说了一句:「这才叫上线。」
沈聿关掉页面,坐了一会儿。二〇一四年他刚来的时候,老曹半夜重启服务器,教过他线上两个字有多重。那时候他觉得老曹说得重。
现在他管着两个模型,一个每周一换,一个在别人机器上。模型训好那天他一直当成完工,其实那天它才刚被放到一个没人看着的地方。训好是它考完试,上线是它开始上班。上班的人得有名字,有考勤,出了错能找到人。
他打开那个叫「注释」的文件,拉到最后,写下一行:模型上线不是终点,是它第一次得对自己负责。