前段时间，北京智源人工智能研究院、中国人民大学和中科院计算所的研究团队在中国人民大学高瓴人工智能学院执行院长文继荣教授的带领下合作开展了大规模中文多模态预训练模型的研究，并发布了第一代悟道·文澜，旨在发掘预训练模型在中文通用多模态数据上的理解能力。

现阶段的“文澜”已初具规模，具备强大的视觉-语言检索能力和一定的常识理解能力。在“文澜”多模态模型的基础上，团队还开发了应用《AI 心情电台》，可以为图像搭配符合意境的歌曲。

最近，小S有幸近距离采访了文澜团队的卢志武老师和宋睿华老师，一起来听听他们对于多模态和预训练的看法吧！采访分为5个部分：

1. 文澜模型：问题 0-5
   
2. 多模态研究：问题 6-7
3. “布灵”心情电台：问题 8-11
4. 超大规模预训练模型：问题 12-14
5. 开放生态及合作：问题 15-18

   
   

全文共计：14309字 

预计阅读时间：18分钟

大家好，我是 Yangyang，目前在 Microsoft Vancouver 工作了一年多。今年是我第一次参加 GHC，很受鼓舞和启发，在此与大家分享我的所得：GHC速览 & GHC 18 感想 & 参会Tips。 

GHC 的全称为 GraceHopper Celebration of Women in Computing，官网为https://ghc.anitab.org/。GHC 由 AnitaB.org 和 ACM 主办，从1994年至今已经举办了18届，2006年开始每年举办一次，会期多在九月和十月。
GHC 主要包括 technical 和 career 两大类 session，同时也有 career fair, awards ceremony, competitions 等多个环节，聚集了来自全球各地的女性科技工作者以及支持 GHC 社区的同盟（GHC也非常欢迎非技术类妹子参加）。
GHC 18 于9月26-28日在 Houston, Texas 举办，参会人数为 20,000+。

主会场 - GRB 外观

在 GHC 18 的三天里，我每天给自己安排了6-7个 session，主要是关于 career 的，想获得一些 early-career 的发展建议。
九月的最后一天，我回想过去的九月和过去的二十几年，问了自己的很多问题，重新去认识和面对自己，然后明白了我从 GHC 18 学到的最重要的事是：要真正地面对自己，相信自己，想说什么就要说出来，想要什么就要开口，主动向前一步。

那天我有点激动，写了很长的朋友圈，下午又写了英文版（点击阅读原文可查看）以分享给更多人，在这里分享最主要的三个方面给大家：

 在 GHC18 的 Session:Nail Your Promotion 里有一个环节：和你身边的人互相练习要用“I”开头的句子来描述你最近工作里的 achievements，一定是“I”而不是“We”。我跟同事 H 坐在一起，一开始我们不知道说什么，后来一句一句越说越多，到最后我们都有点想哭。因为我们是同组的同事，互相了解对方的工作，所以后面都帮对方补充了一些“I”句子。那一瞬间，我意识到，我原来这么不相信自己，原来我做了这么多，原来别人也认可我的工作，只有自己没有给自己认可。

在这个 session 过后的几天里，我一直在问自己：什么让我觉得自豪？做什么让我真正地从内心感到快乐？我在害怕什么？我为什么不相信自己？我想成为什么样的人？我过去是怎么做的？有什么是我想保持的和想改变的？后来我写下了非常多的“我”句子，这里分享一部分吧： 

在这样几番的自我对话之后，我开始相信自己是很棒的人，是值得被爱的人，也是认真去爱的人。如果你是一个不够自信的人，那么就尝试向自己提问吧，一定要让内心深处的自己来回答。Confidence is the stuff that turns our ideas into actions. What we believe matters. 诚实地面对自己，相信自己，接受自己，是自我成长的重要一步，有时甚至是第一步。

这是我在 GHC18 的多个 session 听到的共同点，听起来有点鸡汤，但从前我都是“道理我都懂，生活还是过成了这样”。向前一步，曾经真的很难，尤其对于女生。多少个时刻，我在犹豫，我在胆怯，我欲言又止，然后什么都没有改变，自己也不开心。在 GHC18 的经历告诉我：

第一次听到这句话是在Session: Nail Your Promotion。回想自己工作满一年的时候有个升职节点，我想知道自己有没有机会，但我总等着 manager 来跟我聊，而我同组的两个哥们一直在催我主动跟 manager 聊。我犹犹豫豫好几次，我怕尴尬，我怕失望。终于在一次1/1上跟 manager 问了，manager 给了我反馈和认可，也解释了为什么这次没升，也聊到了其他人都做怎么样。听过这个 Session，我回想起来，这件事最后并不尴尬，反而从中获得了很多有用的信息。

所以，当你想退缩时，问问自己：我在害怕什么呢？事情真的这么复杂吗？最坏的结果是什么呢？我能做什么让结果不那么坏？然后你会发现，有时你只需要 Say Hello，只需要 Ask Questions。所以啊，Don’t wait for the door to open. Open doors and go through them. 

在 Keynote 里 Padmasree Warrior 提到：Eyes on the star, feet on the ground。当时我就想，这不就是“仰望星空，脚踏实地”！可是还缺点什么呢，怎么才能更接近自己的星星，怎么更好地脚踏实地？后来我从其他的 session 得到了一种答案：Measure you achievements。

这是一条很有实践性的建议。比如工作中，你会不会觉得自己做了很多事情，但是好像太琐碎，别人也看不到？这时量化你的工作成果就很重要。你可以问自己，这个月我做了几次 Demo？我手中的项目有几个阶段，我做了哪几项工作，推进到了哪里？这个项目的结果有什么指标可以衡量，我期望以及实际提升了多少？比如生活中，你会不会觉得每年都过得好快啊，我怎么好像什么也没做？你同样可以尝试量化生活中的 achievements。比如问自己，今年去了哪几个地方，拜访了哪些人，读了哪些书，有哪些是我今年的大事件？Measure you achievements, 其实是在沉淀和分析你的所得，也帮你去设定新的目标，审视自己，也展示给他人。

在 GHC 18 的第三天上午，我取消了之前注册的 session，我花了一上午在 Career Fair 的各个展台之间穿梭，我问不同公司的工程师：How do you feel about yourcompany? Do you like your job? What’s your most interesting project recently? 朋友开玩笑说，你不是去参加面试，你是去面试 ta 们呀！再回想整个九月，我跟很多人交流了很多事情，比如，和不同的朋友聊工作聊家庭聊自己，和小伙伴们在 KTV 聊唱歌的经验，和当时的 Airbnb 房东聊中西文化差异，在 GHC 和同事聊参会感想，和爸妈聊对过去的和现在的自己的想法。这些都让我觉得很开心。

我想，交流的意义在于连接，在于给予和获得的正向循环，在于建立属于自己的Sponsor Network。我越来越愿意说出自己的想法，获得他人的反馈，无论是支持还是反对；我也倾听和了解 ta 们，向 ta 们分享我的经验，给出我的反馈。曾经我觉得“Impact”是一个很大很远的词，现在我觉得只要有一个人因为我分享的东西而受到启发，这就很有意义。我也感谢他人给我带来 ta 们的 impact。这些都是你我所处世界的碰撞、拓展和延伸。

很多个 Session 都提到，要 walk across boundaries，要 push yourself to your boundaries，也提到 Growth is inversely proportional to comfort。我在从 GHC 18 回来之后，跟当时的 Airbnb 房东聊起这个话题，她给我推荐了 TED 演讲：The power of vulnerability | Brené Brown。我看完之后的体会是，如果我想要突破自己的极限，push 自己一把，首先要做的是接受自己的不完美。

就像我在上面那段“我”句子所说的，我有很多不完美的地方。而从前我是那么那么那么在意别人的看法，典型的讨好型人格。我把自己限制在自己想要的“完美”里，然后对自己的弱点深恶痛绝。我总是要让自己做到 well-prepared，然后对那偏离计划的10%而焦躁不安，而责备自己。现在我明白了，因为我不曾相信自己，不曾接受自己，我总想100%的去 control，去 predict，其实完全不可能做到。我要做的是去调研、去交流、去发现、去解决，去化解100%的压力，去把0%的信心变成60%的把握，然后认真地努力地向着100%行动。即使这件事成功之后，再回头看，你会发现过程本来就会 messy，再重头来过，也没法做到每个细节100%。Jesscia O. Matthews 在 Keynote 里说：Just because it’s not your plan doesn’t mean it’s not your destiny。所以我与自己和解，接受过去和现在的自己，接受不完美的自己，不苛求，有期待，有行动。

还想再说一些琐碎的感想：

今年没有 guaranteed tickets，需要自己守在电脑前注册抢票。注册开放时间为 9AM PST。主办方今年更新了注册算法，记录每人最后一次打开的浏览器窗口中的最后一次点击为最后排队顺序。所以找一个网络靠谱的地方，刷出注册按钮后，一次点击即可，大概1-5分钟后会出现下一步。整个注册全部完成大概花了10分钟。每一步的响应都比较慢，要耐心。最好给最终显示注册成功的页面截个图，以防万一。最后收到 confirmation 邮件，才算是完全确保注册成功。

GHC 18 注册类型包括 general, academic, student三种，general 价格为1,150USD，后两者价格会便宜很多，听说学生注册是 300 USD，但我没有注册过，猜测会需要相应的身份证明。

今年 GHC 的会场主要在 George R.Brown Convention Center (GRB), Marriott Marquis (MMQ) 和 Hilton Americas-Houston (HIL)，GRB 的两端有天桥分别连接 MMQ 和 HIL。GHC 官网有推荐的酒店列表，也有 shuttle 连接各个酒店和会场。我跟同事妹子 H 很幸运抢到了 HIL 的房间，省去了每天 shuttle 来回的时间。

我们实际订酒店的过程有点慌乱。由于我们公司报销的 approver 多次强调确认拿到票了才可以订酒店，我们收到 confirmation 之后再去看酒店列表时，发现 HIL 每人一间会超额度。于是马上跟 approver 联系，确认两人一间没问题，便赶紧下手，最后在注册后的半小时抢到了一个 HIL 的房间。有国内小伙伴告诉我，当时她抢完票国内已经半夜了，想着第二天一早订酒店，结果第二天只能订到 shuttle 最远处的酒店了。

建议想参加 GHC 的小伙伴，先提前查看官网推荐的酒店列表信息，确认公司/学校报销限额，列出可选酒店；注册成功就马上订酒店。如果无需考虑报销限额，或不怕注册失败而酒店可能无法取消的问题，可以提前订酒店。 

GHC 18 可以通过网站或 APP 提前注册感兴趣的 session，获得 reserved spot。Keynotes 无需注册，featured sessions 的 reserved spot 很快会被约满。入场时有两个队列：reserverd, walk-up。Reserved 队列先入场，walk-up 队列后入场，一般也都有位置。

我是在 GHC 18 iOS APP 注册 reserved spot，Schedule 页面点击 session 右侧的+号即可。重叠时段只能注册一个，之后可以在 My Schedule 看到自己选择的 session。建议慎选20min session，个人感觉 career 类的20min session 比较水，内容基本和相似的1h session 重叠。（另外同事反映，今年她在 Web 端的 reserved spot全部丢失，Andriod APP 经常卡死闪退。希望今年会有人对此给出反馈，GHC 19 能做得好些。）

尽量选择直飞航班，不得不转机的话就尽量多留一些时间，飞机还是很容易延误的；如果没有买买买需求，带个小的登机箱会比较方便，转机也不用担心行李跟不上。

国内过来的小伙伴，中美时差很长，而会期很短，所以可能刚倒过来时差，回去又得倒回来。建议借助褪黑素，尽量撑到晚上睡。比如上飞机之前吃1-2粒褪黑素，尽量在飞机上多睡；落地后困了也尽量撑到晚上再睡；睡前1小时可以吃1粒褪黑素。

建议关注出发地和目的地天气，考虑会场有空调，必备薄外套和雨伞。比如：Houston 当时气温大概是23-30℃，偶尔有雷阵雨。室外很湿热，会场里面很冷，所以我当时是：夏装+外套+雨伞。（我跟好几个妹子都吐槽了，GHC 作为面向女性的大会，空调温度上的关怀还不够啊。）

第一天没有考虑人很多的问题，比较狼狈。酒店本身的自助早餐和附近的星巴克都排着很长的对，转了好几个地方，我们才在 GRB 二楼找到队伍稍短些的小餐吧买到吃的，一路奔去丰田中心听 Keynote。午饭时间依然到处排长队，因为我和同事都有 pre-registration，想听的 session 间隔很短，之后放弃了午饭。下午主办方供应了一些甜点、面包、蔬菜沙拉，可以拿来充饥。晚饭时间比较宽裕，可以寻找合适的餐馆，如果去参加 party 也有食物。建议参加 GHC 的妹子，每晚买好第二天的早饭或者订好酒店的早餐客房服务，同时也买点零食面包，免得因为来不及排队而吃不上午饭。 

GHC 三天会期，前两天晚上有些公司会安排自己的 party, 第三晚是 GHC 官方的 party。第一天我去了 Microsoft party，公司也发了注册的 link 给 FTE，鼓励大家转发&邀请其他参会者，位置离主会场步行20min可达。第二天有 Google 主办的 WomenTech Worker 的 party，需要先排队登记，然后排队乘大巴去 party 场地。第三天GHC 官方 party 就安排在主会场，凭借注册时发的票入场。也听说了 Twitter 等其他公司有 party，有兴趣参加的小伙伴可以尝试去 career fair 的各公司展台直接提问。

以上就是 Yangyang 此次参加 GHC 的主要感想啦。

当我们收到 Yangyang 的投稿时，真的非常感动。这样长的感受，这样深刻的自我认识，这样无私的分享，无不传递出大会给人带来的积极影响，以及源自她内心深处的能量。

如果大家看后有所收获，也希望大家积极把这篇文章分享给周围的朋友~

08年，我刚加入公司的时候，被告知在公司工作十年以上就有资格享受12周的年资假。当时并没有觉得这个福利和自己有什么关系，毕竟太过遥远。

可似乎转眼间，十年就这样悄无声息走到了面前。

十年中，我的角色发生过很多次变化，刚入职的时候是QA（质量保证分析师） ，后来做项目管理，之后因为意想不到的机会转职做People Lead（人力资源总监），从此一发不可收拾，我在转型的路上越走越远。十年来，我尝试过的角色不少于五个，技术、人力、运营、软件交付、咨询，还不包括兼职做下来了社区创立者、全球创新项目负责人以及培训师。

回首过去的十年，每一次转型都有很大的跨度，也正是因为这些跨度让我这十年很丰富。

有一位前辈曾经和我说过：这家公司给不了你一个看得到的未来，但过程中的未知和不确定会让你终身难忘。

我用十年的时间验证了这句话的正确性，作为一个喜欢做梦，热爱思考，经常发呆也乐于自省的职场女性，有一些关于职场和成长的感悟，想掏心掏肺和大家分享。

1 从软件测试到人力资源总监，经历了什么

当初来ThoughtWorks是因为猎头的推荐，真正让我下定决心加入是因为ThoughtWorks践行的自动化测试，当时我预见自己会在测试领域摸爬滚打好多年，甚至想着测试将会是自己专注一生的领域，因为业内层出不穷的新技术、新工具、新观点让我一直很兴奋，不断涌现的市场需求也给我带来安全感，当时身边也有一些牛人指路，让我看到了上升空间，所以那时候我的志向差不多就是做测试界的百科全书。 

但是在我加入三年后，突然有一天，我的Sponsor（导师）过来找我，说有一个机会，问我愿不愿意尝试中国区 People Lead（人力资源总监）这个职位。

当时这个职位已经空缺几个月了，前任离职后，中国区花了很长时间去招聘，但一直没有找到合适的人。

ThoughtWorks特殊的文化决定了对这个角色的要求和普通的人力资源总监不一样，这是一家专业技术公司，绝大多数的员工都是技术人员，作为人力资源总监，只有充分了解技术人员，了解他们的工作，能听懂并且理解他们讲的故事，才能真正发挥同理心，更好的关注到他们，给他们提供帮助并且支持他们的发展。

中国区决定在内部寻找，而我就是在这个时候被识别出的候选人。

我当时很惊讶，完全没有做好准备，这个转型是我从来没有考虑过的事情。

但是有很多同事过来找我，告诉我他们的想法。

真正影响我做决定的是这句话：多年以后，你可能不会后悔自己做过什么，但是你可能会后悔自己没有做过什么。

总之，没有一个人告诉我放弃。

直到现在，我还是很喜欢ThoughtWorks保留下来的这种文化，有时看似是一个人的事情，但会有很多人过来提供建议，他们不会干预你的决定，但是他们会毫无保留的和你分享他们的想法。

他们所有的人都鼓励你勇敢，尝试新的事情，他们容忍失败，认可每个人突破自己。

很多年以后，我发现自己成长最快的时候都是从做大胆决定那一刻开始的。

在新的岗位上，我接手的第一件事情就是给员工销假，我怎么也没有想到，本来是怀着为人民服务的理想踏上岗位的，但上岗之后做的第一件事情竟然是做“恶人”，赤裸裸“剥夺”员工的利益，“剥夺”以前和我紧密合作的同事的利益。

那时候公司的规模开始增长，但是各种制度还不健全，有的制度还成了公司发展的硬伤，比如休假制度，以前的规定是员工可以无限期延长自己的年假，有的老员工累积的年假已经超过50天，这在财务上是一种负债，对于一家专业服务公司来讲，这种负债越大，公司运营的风险就越高。

当时中国区还不盈利，一直是全球的投资在支持，所以即使销掉员工的一部分假期，也没有办法按照百分百的比例给予补偿。对于假期累计很多天的同事来讲，这是难以接受的事情，包括我自己。

在职场上，甚至在人生的某些个阶段，你可能都有机会遇到这样的事情，理性告诉你这样去做，但是情感上你说服不了自己，或者站在一个立场上你是在做正确的事情，但换个角度你就罪大恶极，这种问题没有答案，考验你的是如何在获得他人理解的基础上解决问题。

骨头非常硬，但还是要啃。

我和所有受影响的同事一对一沟通，解释上下文，解释为什么做这个决定，倾听他们的抱怨，接纳他们的情绪，有一位老外同事在我面前拍了桌子，指着我的鼻子发泄他的愤怒。

那段时间，每个晚上我都失眠，感觉自己站到了喜欢的那些人的对立面。

那时候，我想到了放弃或者离职，但我上岗不过才一个星期。

后来想想，那其实就是不舒适区，突然跳进去，没有半点过渡，我由一个关注事情的人突然变成要关注人，有太多的技能我需要学习，沟通能力，影响力，自我管理等都需要提升。

没有办法的话，死扛着也会有转机。

我完成了所有的谈话，也完成了设定的目标，这中间有些人让我很感动，他们理解这个决定也非常配合我推进这件事情，我知道他们是基于对我的信任。

后来，那个老外过来和我道歉，在他理解了之后，还帮我推动了一些事情。

那件事情结束之后，我就开启了疯狂补课的模式，学习人力资源的系统知识，做各种主题阅读，参加研讨会学习行业经验，考取了人力资源从业资格证，我还给在校大学生做了一百个小时以上的职业咨询，在几个人力资源平台做签约作者。

真正到了一年以后，我才敢和别人说，我是人力资源从业者，尽管那个时候我仍然在不舒适区，因为我还有很多东西需要学习，我也还有很多解决不了的问题。

但时间是不等人的，新的机会总是会在你还没有准备好的时候就出现了。

2 再一次归零，失败了会怎样

2013 年，公司在全球的领导团队发生结构调整，时任中国区MD（中国区总经理）的郭晓调任全球CEO，中国区的其他运营角色也随之发生变动，我由People Lead 岗位转为PSM（专业服务资源管理）。

这是一个为所有项目匹配资源的角色，前提是要对中国区所有的专业人员和客户项目有充分的了解。

项目匹配的复杂度之高是难以想象的，因为项目的需求各不一样，客户领域不一样，工作地点不一样，周期和起始时间不仅不一样还不断动态调整，相应的，在人员的分配上，不但要考虑每个人的技能，还要考虑机会是否符合个人发展意愿，是否需要出差协调家庭。

归根结底，这份工作协调的是供求关系，困难的是供和求都在动态调整。

不仅如此，这个工作的边界也很难定义，从密切关注商机预测，到把供求关系转化为培训计划，招聘优先级和启动全球支持，都需要参与。

那个时候中国区已经进入了一个快速发展的通道，规模的扩大已经带来了一些问题，以前是一个人处理的事情，现在需要一个团队协作来完成。

在新的岗位上，我第一件事情就是组建团队。

团队里面的第一位RM（资源协调经理），是我们从业务部门识别出来的，我们俩在没有前人经验的基础上，摸着石头过河，与人力资源比起来，这个角色不属于任何领域，市场上也找不到相关的行业经验，所以在这个岗位上，发展空间难以预测，职业安全感相对也较低。

三个月后，我唯一的团队成员提出了辞职，我像一个创业失败的人重新回到起点，那段时间，我自己也曾想着放弃，觉得自己不擅长从零做到一，那是在那个职位上最迷茫的一个阶段。

后来在中国区总经理胡凯的帮助下，我去了印度，当时印度是唯一一个有RM团队的国家。

我加入了印度的RM团队，花了三个月的时间和他们一起处理印度的资源调配，和每个RM以及业务部门密切合作，和他们的专业人员沟通项目详情。

他们也没有成熟的经验，但是我还是学到了很多东西，团队是如何协作的，有什么流程，在规模扩大的时候可能会面临一些什么样的坑。

现在想想，我之所以坚持了下来，是看到了这家组织对失败的宽容，要想改变，就不可能一帆风顺。

而且当时整个中国区的管理团队也都比较年轻，在没有人指路的情况下，大家是在一起战胜困境，探讨可能的。

我从印度回来后，立即开始组建团队，半年后，每个大的办公室都有了专职的RM，小的办公室也有兼职协调资源的人。在这个过程中，我也有了一些思考，因为工作内容复杂多变，所以很难给从事这份工作的人做严格的职责定义，但这份工作实践起来却非常锻炼人的抗压能力，应变能力，适应性和敏感性。

更为重要的是，这份工作能让人看清专业服务公司是如何运作的。

若干年后，我再次进入业务部门，和一家战略咨询公司合作，在一次吃饭的闲谈中，我理清了他们团队背后的配置逻辑，也帮他们解答了专业服务公司如何配置资源的问题。

那时候想到的是《法华经》里的一个词“功不唐捐”。我们学到的知识，做过的事情，都会在未来的某一天以经验的方式回馈给我们。

现在，Staffing（资源协调）这个团队仍在公司担任着非常重要的运营职责，这个团队也走出来一些很出色的leader（带头人和管理者），想起来是件很欣慰的事情。

我在这个岗位做了三年，直到后来休产假。

3 做不到家庭和工作平衡的话，就做一个无所畏惧的女性

还在做People Lead的时候，有一天，有位女同事找我倾诉，她的孩子那时不满一周岁，她说：

这就是我当时还理解不了的处境。在几年之后我理解了，因为我也成了母亲。

当了母亲之后，就特别关注工作生活平衡的话题，这可能也是绝大多数职场女性回避不了的话题。

《奇葩大会》有一期，女强人刘楠和 5 位男性CEO一起被采访，男性CEO被问到的问题，都是关于用户，关于利润的，到了刘楠，她被问到的问题是，你是如何平衡工作和生活的？

这揭示了当下社会和职场的一个普遍认知，男性只要管好自己就行了，女性则需要平衡事业和家庭。

产假回来，我再一次转型，调到内部IT 部门做项目管理，共有5 个团队，服务全球。

这个转型的决定其实也是考虑了我产后回归，更好的平稳过渡而做出的。这个工作在内容上我已经很熟悉，但实际中仍然需要克服一些问题。

最大的问题就是时差，在一个全球的团队里，很多的会议不是发生在清晨就是发生在晚上，这也就预示着在家里开会是一个常态，而我家的小朋友很小，还是听不进任何道理的年纪。

开会的时候我通常把自己关在屋里，任凭他在外面捶打着门撕心裂肺哭，我也不能分身，但这会极大的影响我的注意力和效率，我觉得私人时间里陪伴不了他，对不起小娃，开会的时候做不到全神贯注，又愧疚于信任我的同事。

生活就是个矛盾的综合体。

第二个问题就是个人发展，因为孩子小，在养育中必然会分心，所以我其实是做了一个放缓自己发展的决定。

这是一个取舍的过程。

Facebook的首席运营官谢丽尔.桑德伯的畅销书《向前一步》里介绍了很多方法，鼓励女性冲破性别障碍，做好工作生活平衡。

有些女性觉得这本书确实给她们带来了改变，但也有一些女性做不到，在兼顾工作和家庭的同时，她们既忙碌又焦虑，因为大部分的女性之所以家庭和事业都美满，是因为自己的另一半或者家里的老人们在为她们负重前行。

也就是说，所谓的平衡，不是自己做出妥协，就是家人做出牺牲。

就连桑德伯自己也在书里提到，她能在职场打拼，没有后顾之忧，是因为她的丈夫分担了很多家庭责任。

这其实是一种方法，或许是最能支持到女性在职场发展的方法了。

前面提到我所在的团队的特殊性，晚上开会的时候如果不是特别晚，七八点钟的会议我大都选择在公司开，这样的话我就可以在五六点钟的时候去健身房跑跑步练练器械，回到公司正好赶上开会，回家的路上我会觉得精神焕发、动力十足，这段时间是我的家里人在承担责任。

但周末的时候，我会全心全意陪伴孩子，陪伴家人。

所以，在家庭工作平衡这件事情上，我是比较幸运的，既放飞了自我，也没有远离家庭，因为我有非常支持我的家里人。

但对于一些女性来讲，可能并不会如此幸运，网络上有很多建议，我比较认可的做法是这样的：

如果真的无法平衡，那就选一个自己最想成为的角色，起码是现阶段最想成为的角色。但是不管你选了哪一个，都意味着你要放弃另一个，不要怕，也不要担心，做一个无所畏惧的女性。

有时想想，我们的人生就像坐标系，横轴已经订好了，区别在于纵轴上如何发挥，十年可以很短，转瞬即逝，十年也可以很长，因为成长永无止境。

最后，18年伊始，用送给自己的话来结束吧：千帆过尽，愿自己仍是那个明眸善睐的女子，永葆一颗少年心！

本文转载自ThoughtWorks公司。
作为「全球最佳女性科技雇主」ThoughtWorks向来不拘泥于常规而致力于打破框架，突破极限，寻求机遇。程序媛的日常在去年也曾经跟ThoughtWorks合作过线下活动 | 全球最佳女性科技雇主 ThoughtWorks 的秘密。

ThoughtWorks 希望验证女性能在技术领域承担一些非常关键的岗位。但是现在行业里并没有许多这样的女性技术人员，所以需要自己培养，所以 ThoughtWorks 开展这些活动和方式来自己培养。这是远大的 ambitious vision。

说起短期目标，就是因为 ThoughtWorks 要求每年校招进来的都是男女比1：1，这很难，只能自己先尽早培养。而个人认知——靠个人，在这一点上，ThoughtWorks 和我们 GirlsWhoCode 是非常相似的。我们都希望让大家认识到女性程序员也是多姿多彩的，不是千篇一律的，不是形象差、目光呆滞的。

想要进一步了解吗？ThoughtWorks校招火热进行中，详情戳“阅读原文”，欢迎大家投简历～推荐人写“大S”据说有惊喜哟！

作者：Harvard NLP group (harvardnlp)

论文：Latent Alignment and Variational Attention

地址：https://arxiv.org/pdf/1807.03756.pdf

代码：https://github.com/harvardnlp/var-attn 

摘要：attention 注意力模型在神经网络中被广泛应用。在已有的工作中，attention 机制一般是决定性的而非随机变量。我们提出了将 attention 建模成隐变量，并应用 VAE 和 policy gradient 训练模型。在不使用 KL annealing 等 trick 的情况下训练，在 IWSLT 14 German-English 上建立了新的 state-of-the-art。

近年来很多文章将 VAE 应用到文本生成上，通过引入隐变量对文本中的一些不确定性（diversity，如文章风格主题、蕴含情感等）进行建模。这样做往往会遇到一个常见的问题—— KL collapsing。这个问题最早在16年时由 Bowman 指出 [1]，其描述的现象是直接训练 VAE 得到的 KL 接近0——这也就意味着近似后验和先验一样，使得隐变量被模型忽略 [5]。Bowman的解决办法 [1] 是使用 KL annealing（KL 项的权重从0开始逐渐增加到1）或者 word dropout（不常用在此略过）。随后，17年 Yang 等人对 KL collapsing 的问题进行了更细致的分析 [2]，并提出降低 decoder 的 contextual capacity 改善这个现象。此外 Zhao 等人提出 bag-of-word loss 去解决这个问题 [3]。18年 Graves 等人也对 KL collapsing 进行了分析 [4]。（我们在过去也介绍过许多解决 KL collapsing 的工作，点此查看）。

在我们的工作中，attention 被建模成隐变量。值得注意的是，我们将 attention 建模成隐变量并不是为了单纯应用 VAE 这个工具，而是因为我们认为将 attention 建模成隐变量可以为 decoder 提供更 clean 的 feature，从而在不增加模型参数的情况下提高模型的表达能力（注意 inference network在测试阶段不被使用因此不计入模型参数）。

以下是一个简单的直觉。下图蓝色部分展示的是传统 attention，下图红色部分展示的我们提出的隐变量 attention。传统的 attention 机制仅能通过之前生成的单词确定当前即将生成单词的 attention，而因为存在多种翻译方式，所以会出现 attend 到和实际翻译的单词并不对应的位置的问题。而在红色部分展示的我们提出的隐变量 attention 中，我们可以通过全部的源文本和目标文本去得到更准确的后验 attention，因此 attention 和实际翻译应该 attend 的源单词对应得更好。并且，这样得到的更好的后验 attention 可以提供给 decoder，从而使 decoder 拿到更 clean 的 feature，藉此可以得到更好的模型。

基于这个直觉，我们将注意力 attention 建模成隐变量。假定 x 是源文本，y 是目标文本，z 是 attention，根据标准的 VAE 方法，我们引入 inference network q(z | x, y)去近似后验，那么 ELBO 可以表达为（为了简单我们考虑目标文本只有一个单词的情况）：

上面不等式的右侧是 ELBO，其中第一项是从 q(z | x, y) 中采样出 attention，使用采样出的 attention 作为 decoder 的输入计算 cross entropy loss，第二项是确保后验分布接近先验分布。这里值得注意的是，我们此处的先验和一般的 VAE 不同，我们的先验是和模型一起学习的。

因为我们的 p(z | x) 和 q(z | x, y) 都是 categorical 分布，所以我们使用 policy gradient 去优化上面的目标函数。由于 decoder 和 encoder 之间的主要信息传输通道是通过 attention，如果忽略了这个隐变量，就会无法得到源文本的信息而得到很大的 penalty。这与之前的许多工作中直接把隐变量加入到每个 decoding step 不同，因为那样即使 decoder 忽略了隐变量，也可以达到很好的模型表现 [5]。因此通过直接优化目标函数这个隐变量也不易被忽略，我们的实验完全验证了这一点。

由于我们的后验 q 能看到全部的 x 和 y，因此后验中采样的 attention 可以比先验 p(z | x)好。比如以下的例子：

这里我们把德语（纵向）翻译成英语（横向）。红色代表先验，即只观测到 x 而不观测到 y 的 p(z | x)，蓝色代表后验，即观测到全部信息的 p(z | x, y)。注意到在第二个单词 actually 处，红色的先验试图 attend 到 nun 后面的逗号“,”，从而试图生成一个 “well, ” 的翻译结果。然而实际的英语翻译中并没有逗号，反而直接是 well actually，由于后验 q(z | x, y) 可以看到实际的翻译，因此蓝色的后验正确 attend 到了 tatsachlich 上。注意到训练目标 ELBO 中我们从 q 中采样 attention 给 decoder，因此通过使用 VAE 的方法，decoder 得到了更准确的 attention 信号，从而可能提高模型的表达能力。

实验上，我们在 IWSLT 14 German-English 上得到了新的 state-of-the-art。其中 KL大约在0.5，cross entropy loss大约在1.26，而且我们人工比较了很多后验和先验也很符合我们的建模直觉。

欢迎尝试我们的代码，项目地址在 https://github.com/harvardnlp/var-attn。我们提供了能复现我们 state-of-the-art 效果的 preprocessing、training、evaluation的command，以及我们报告的模型。

相比过去的大部分工作是从 attention 计算出来的固定维度的 context vector，我们提出了将 attention 建模成隐变量，即在 simplex 上的 attention 本身。由于我们的工作是对 attention 注意力机制的改进，因此理论上可以被应用到一切包含 attention 的 task 中。文章里除了机器翻译外我们也做了个视觉问答系统的实验。我们的具体模型和 inference network 的结构请参见我们的论文和代码。

限于作者的水平，本文中有错误和纰漏在所难免，望读者朋友多多包涵！也欢迎发邮件给我 dengyuntian@seas.harvard.edu 交流。

References 

[1] Bowman et al, "Generating Sentences from a Continuous Space".

[2] Yang et al, "Improved Variational Autoencoders for Text Modeling using Dilated Convolutions".

[3] Zhao et al, "Learning Discourse-level Diversity for Neural Dialog Models using Conditional Variational Autoencoders".

[4] Graves et al, "Associative Compression Networks for Representation Learning".

[5] Zhang et al, "Variational Neural Machine Translation".

更多相关文章阅读

1. 干货 | 你的 KL 散度 vanish 了吗

2. ACL 2017 | VAE for Dialog Response Generation

3. ICLR 2017 | Attention 和 Memory Networks

4. 干货 | Applied Attention-based Models in NLP（一）

5. 干货 | Applied Attention-based Models in NLP（二）
   

今天要分享的论文是一篇 CVPR 2018 Spotlight，A PID Controller Approach for Stochastic Optimization of Deep Networks. 荣幸的是，我们请到了这篇论文的第一作者 Wangpeng An 为大家带来第一角度解读：从想法的萌生，到投稿的坎坷——走近一篇 CVPR 论文的诞生。 

具有近百年历史的“比例-积分-微分”控制方法（简称 PID 控制器）是一种通过控制系统的误差来调整机器的反馈控制方法。它是迄今为止自动控制中应用最为广泛的控制方法。这个算法被改进了将近200年无人撼动，几乎所有自动化的设备都是使用 PID 算法进行控制。那么它是怎么来的呢，请看下图：

这个东西就叫离心机，控制给引擎送多少油，刚开始被用在怀特兄弟造的飞机 [6]。从研究离心机如何供油，控制理论慢慢地被运用到各种各样的机器控制中，并且引导了第三次工业革命：自动化——如何控制机器让其离开人自动的运行（这个特性好像跟人工智能是一样的）。如何控制机器的算法就叫控制理论，而 PID 一直在工业控制里占统治地位，它被广泛的应用在工厂 [1]、无人机 [2] 以及无人车 [3] 中。到目前为止，90%的控制器都是 PID。

大家熟知的大疆无人机也不例外

下面就来说说控制理论和深度学习优化的关系。在控制理论里，“误差”即受控机器的输出与期望值之间的距离。如何根据“误差”让机器做出下一步更新的算法就是控制器。

对于深度学习优化，将模型输出和期望输出的误差来定义为损失函数。损失函数通过执行“误差的反向传播” [1] 得到梯度来影响权重。就像 Hinton 老先生在其发表在 Nature [1] 的文章里那样描述的，梯度是每个权值对总的损失函数贡献，其与损失函数为线性关系。

把深度学习里的”梯度”看成是当前权重与最优权重的“误差”，这样 SGD-Momentum就与 PID 优化器通过”梯度”与“误差”的联系而联系到了一起。如下图，可以看到控制过程与深度学习的优化过程的联系，可以发现控制系统里的反馈、误差、PID控制器与深度学习里的反响传播、梯度、优化器有着很高的相似度。

如果把控制里的误差用梯度替换掉的话，那么深度学习优化器 SGD-Momentum 和反馈控制器 PID 就有如下的关系：

这样 SGD-Momentum 可以等效为 PI 控制器。而在控制理论中，PI 控制有超调的问题，也就是说 SGD-Momentum 有超调问题，这一点其实很容易理解，因为 I（Integral）是历史梯度的积累。也就是说如果历史梯度朝着同一个方向变化的话，那么朝着该方向的变化就会不断地加速，但是如果要改变方向，那么由于历史梯度还是朝着相反的方向变化，就会产生滞后反应或者也叫超调（Overshoot）的问题。

超调也可以简单的描述为在该改变方向的时候还是沿着之前错误的方向继续行进，也就是执着于“过去”。

而 PID 控制算法中的 D 的这一项就专门是用来较小超调这个问题，因为 D 是梯度的变化趋势，其放眼“未来”。下面的 gif 是我见过解释 PID 这三个参数意义最好的一个动画。从中可以看出 PID 控制器中 PID 前的三个超参数如何根据误差从初始值（0）收敛到最优值（1）的一个动画。

根据这个观察我们就顺其自然地提出了 PID 优化器，也就是过去、现在、未来同时存在。过去、现在、未来，究竟哪个比较重要我们不知道，但是我们认为“未来”是必须要有的！

由于我们证明了 SGD-Momentum 其实是 PI 控制器，我们新的算法只在 SGD-Momentum 上加入了梯度的变化这一项。我们也并没有彻底地探索如何更好的设置 P I D这三个参数，为以后的创新也留有广阔空间。：）

为了验证我算法能在真实数据上起作用，我们在2维数据上做了可视化的研究。

优化一个包含 x 和 y 的实验，目标函数以及结果如下：

其中背景的颜色代表f的大小，越红的地方其值越大。黄色的轨迹是 SGD-Momentum的收敛路线，D 前的超参数为 K_d，红色是在不同 K_d 下 PID 优化器的收敛路线。可以从图中看出在同样步长的条件下，K_d 这个超参数可以减小甚至消除超调问题。

然后是在 MNSIT 数据集上的结果:

可以看到 PID 优化器明显地好于 SGD-Momentum。

觉得在控制理论里下面的工作中也可以把其误差用梯度替代掉从而提出新的深度学习优化算法：

1. 现代控制理论。

2. 模糊控制器。

3. 模型预测控制。

下面说说做这个工作是如何产生以及最后投稿被接收的：

其起初就是在折腾 SGD-Momentum 的公式的时候，用了一个高中就会学到的数列求和的技巧化简了一下，发现有一项是历史梯度的求和……在这个过程中不断地把东西往一块凑，不断地丰富实验，丰富理论。

但截稿前其实没有写完论文，投出去之后发现虽然做了两个实验，然而其中一个结果还忘了贴上去，论文中提到的一个图还并不存在。当时心情复杂，很多师兄师姐都告诉我毕竟是第一次投还只写了7页可以原谅，老师建议我再好好改一下准备投 ECCV。

在跑 CIFAR 10 实验的时候发现加入梯度的变化那一项并没有 SGD-Momentum 好，当时心情沮丧觉得弄不好做了这么长时间的 idea 可能就是不 work。

之后就开始了很长一段时间每天起床，出门，实验室坐下打开 Youtube 和 Github 找事情做的过程。有一次在 Youtube 看到刘媛媛的励志演讲，看完充满了力量异常的有动力。联想起自己做的工作，脑中一闪发现其实并没有人限制我是不是要给梯度的变化这一项前面加的那个超参数必须是设定好不可调节的……于是我就开始了漫长的调参之路。

其实现在也觉得如何面对可能不 work 的 idea 是一门艺术，那种被偶然发现，纯天然无污染的 idea 太少， 大部分可能都是人造 idea。只要意志坚强，总能做完投出去。

最后把她说的一句话送给大家：

命里有时终须有，命里无时须强求。努力就有 CVPR！

概括一下，这篇论文（CVPR 2018 Spotlight，A PID Controller Approach for Stochastic Optimization of Deep Networks）介绍了一个简单的优化方法：修改 SGD + Momentum 使模型更快收敛。其 Motivation 主要来自自动化学科的比例积分微分（PID）控制算法。作者证明了 SGD -Momentum 是一个 PI 控制器（缺乏一个D，与 PID 更新相比方程）。通过加入 D 对 SGD-Momentum 进行改进从而实现加速收敛，而 D 就对应梯度的变化。

这篇论文的 Reviewers 们是这么说的：

1. I think the paper makes a very interesting connection between two classical approaches, respectively from the field of feedback control and the field of optimization.

 

2. The link between PID and SGD+Momentum opens the door to further innovations in optimization of deep networks. I wish the ML community would pick this up and go much further.

 

3. I actually believe the authors would do better by performing additional MLP and LSTM experiments, and then submitting this paper to ICLR, NIPS. I don't think CVPR is the right venue and I fear it will not give theauthors the exposure the work deserves.

被多次问过，为什么研究改进 SGD-Momentum 而不是 Adam 呢。因为目前卷积神经网络里最好的模型 VGG、Resnet、DenseNet、Mask-RCNN 等都是由其训练。最近也有人指出 Adam 这种自动化的学习速率方法其实并没有 SGD-Momentum 训练的模型效果好 [2]。简单来说就是 SGD-Momentum 就是一台单反，自己调节一些参数可以达到很好的效果，而 Adam 就像是一台傻瓜相机，虽然大多数时候都行，但追求极致还是得用“单反”。

因为 PID 一直是控制理论中的黑箱，其参数的调节也如炼丹一样的 CNN 至今无人完全参透，所以知乎上也有这样的评论：

PID，CNN，双壁合一，但凡练成者，江湖人送外号：“调参圣手”。

References: 

[1] D. E. Rumelhart, G. E. Hinton,and R. J. Williams, “Learning representations by back-propagating errors.”  Nature, 1986.

[2] The Marginal Value of AdaptiveGradient Methods in Machine Learning- arXiv

[3] Knospe, Carl. "PID control." IEEEControl Systems 26.1 (2006): 30-31.

[4] A. L. Salih, M. Moghavvemi,H. A. F. Mohamed, and K. S. Gaeid, “Modelling and pid controller design for aquadrotor unmanned air vehicle,” International Conference on Automation.

[5] P. Zhao, J. Chen, Y. Song, X.Tao, T. Xu, and T. Mei, “Design of a control system for an autonomous vehiclebased on adaptive-pid,”International Journal of Advanced Robotic Systems.

[6] https://en.wikipedia.org/wiki/Control_theory.  

人类大脑认知和语言功能之间的关联奥秘，一直是研究者们关注的焦点。在本科的脑认知课程上，小S就听到老师说，人类如何处理语言、形成语言，已经是二十一世纪几乎最受关注也最“一筹莫展”的脑认知研究领域。

Computational psycholinguistics has “always been...the thing that computational linguistics stood the greatest chance of providing to humanity” (Kay, 2005).

随着统计语言模型，神经网络语言模型等的出现，脑认知和自然语言处理这两个学科的交叉研究——计算神经科学——也不断涌现出来。曾经的爆款 Science 论文《Human-level concept learning through probabilistic program induction》也属于这个范畴。今天又看到三篇这个领域的研究工作，想分享给大家，包括：

1. Finding Syntax in Human Encephalography with Beam Search. ACL 2018.

2. Navigating with Graph Representations for Fast and Scalable Decoding of Neural Language Models. from Microsoft.

3. Does the brain represent words? An evaluation of brain decoding studies of language understanding. from MIT.

发表在 ACL 2018 上的第一篇工作 [1] 主要关注的是语言模型解码中的语法信息，。比起我们非常熟悉的 LSTM，这篇工作 [1] 使用的基本语言模型是 RNNG，G for Grammers. 由下面的示意图可以看到，RNNG 在生成过程中，不仅生成具体的词，还生成语法结构。

这样的结构非常适合增量过程建模（incremental processing）。可以想到，当利用这样的生成过程做语法建模时主要包含三种语法分析决策（parser action）：是否开始一个新的成分（左括号），是否结束最近的一个成分（右括号），以及是否生成一个具体的词。

上方给出的示意图的左上角就是三个彩色的方块就代表着三种决策动作。然而，经典的 beam search 算法用于这样结合语法信息的语言模型时，会有些不合适。毕竟语法信息和具体的词，不是一个层次上的信息，把它们放在一起去预测得到的概率分布会严重的不均衡。

为此，作者 [1] 使用的是 word-synchronous beam search。其主要思路是在解码时，不断搜索扩展语法结构，直到有足够多的结构都生成了具体的词，然后同步这些词，再开始下一次的结构解码。示意图见下，具体的算法描述请大家参考论文 [1]。

作者 [1] 希望探究 RNNG+word-synchronous beam search 是不是一个合适的语言认知模型（cognitive model of language processing）。为此，他们比较了人脑听到一段语言时的 EEG 信号和语言认知模型计算过程中的复杂度指标（具体请见论文 Section 4）。从下图的部分实验结果示意来看，回归模型还是比较契合的。

这篇工作 [1] 里还有很多有意思的 insight analysis，比如实验结果就发现，LSTM 的回归效果就比较差，说明不适合作为一个语言认知模型使用。而且这篇论文 [1] 给我的最大的冲击还是他们并不是使用 RNNG 直接建模 EEG 数据，而是用 RNNG 中的计算语言复杂度来建模。这可能也是纯自然语言处理和计算语言处理的一个比较大的区别。

第二篇想分享的论文 [2] 则是希望通过借鉴人脑中的语义映射或者说词汇关联，来加速语法模型的解码过程（beam search decoding）。因为过去的认知科学研究多数认为，人脑中的词汇是复杂网络结构，所以当给定一个语境时，人脑能联想到的词汇会锁定在网络中的某一小部分，而不是像 softmax 一样遍历一遍所有词。

基于这样的启发，作者 [2] 提出了基于图的快速解码算法 Fast Graph Decoder (FGD)。算法的过程也很直接，先根据词向量的语义距离构建一个小世界网络来“模拟”人脑中的语言网络。当解码时，将语境编码（隐变量）和图中的结点进行比较，从而找到最相似的结点作为图解码的起点，并启发式地进行图推理。值得一提的是，在小世界网络上的图搜索有比较成熟的快速算法，这也是这篇论文的算法能大幅提速传统 beam search 的主要原因。算法的示意图如下。

这样简单的思路在实验中效果还不错。在不损失准确度的情况下，其解码计算速度大幅提高。这是因为经典 beam search 主要受限于 softmax 计算，其复杂度是 O( D * |V| )，而这篇中的快速图解码 FGD 则是 O( D * log|V| )。

今天想分享的最后一篇论文 [3] 则有些与众不同。其更多地是从脑认知的角度来探讨计算语言相关研究的价值。如上面提到过的，计算语言学中经常把脑认知的一些数据（EEG, fMRI等）和神经网络处理的文本数据联系起来，希望从中找到特征的相关性甚至一致性。这样的研究框架可以用下面这样的示意图来展示：

如果将 fMRI 数据转换后的特征和经过语言模型建模后 m_k 的文本特征分别称为 r(x_i, s_j) 和 r(x_i, m_k), 那么这两者的差距越小，说明这个模型拟合某个被试（s_j）拟合得越好。为此，作者比较了下面多种模型：

可以看到，这些模型主要是针对不同自然语言处理相关的任务提出的。从某种程度来说，作者希望看到的是，针对不同任务的语言模型和人类阅读某一句话时的反应是否一致。换句话说，人类阅读某一句话是，具体在进行着哪些语言处理（不同的语言任务）。

实验结果来看，大部分模型学到的特征都可以一定程度上契合人脑活动数据中提取的特征。而且，表现最好的模型是 GloVe、SkipThought 等前四个模型，这些模型也可以认为是最“包罗万象”的模型。因为它们主要建模的是对下一个词的预测，并不涉及一个具体的自然语言任务（task-transferrable）。

然而，这样的结果只能说明 GloVe 等模型学到了一些和人脑活动相关的特征，却并不能解释人脑在处理语言到底做了哪些任务。如果对这方面的研究感兴趣，推荐大家看一篇综述：John Hale. 2017. Models of human sentence comprehension in computational psycholinguistics. In Mark Aronoff, editor, Oxford Research Encyclopedia of Linguistics. Oxford University Press.

诚然，这些工作可能很多不够研究，只是借鉴一些思路灵感。就像 CNN 的设计与视觉细胞，神经网络的设计与大脑网络，这些关联可能都不是真实准确的。但是，人工智能并不一定是复原或者说模仿人类的智能。研究工作带来的灵感可能是更宝贵的。在这方面，大家又怎么看呢？

更多相关阅读：

干货 | 限定和指导 Seq2Seq 模型的生成结果（一）

干货 | 限定和指导 Seq2Seq 模型的生成结果（二）

今天想分享几篇比较新的文本改写（Rewrite）和文本风格迁移（Style Transfer）的工作。会涵盖的论文有：

1. Unpaired Sentiment-to-Sentiment Translation: A Cycled Reinforcement Learning Approach. ACL 2018.

2. Delete, Retrieve, Generate: A Simple Approach to Sentiment and Style Transfer. NAACL 2018.

3. Generating Sentences by Editing Prototypes. TACL 2018.

第一篇工作 [1] 从题目来看就很吸引人，unpaired 对应 cycle，很自然联想到 reconstruction。而 reinforcement learning 主要是为了解决训练过程中离散文本不可求导的问题。

虽然过去也有一些 text style transfer 的问题，但是因为缺少对于非 stylish 或者说“普通文本”的语义信息的显式保留，导致很容易出现下面这种情况：当把“The food is delicious”这句话从正向情感迁移到负向情感时，会得到“What a bad movie”——虽然情感被正确转化了，但是内容的主体也跟着变了。这显然是不好的。

为了解决这个问题，这篇工作 [1] 使用了两个 module，一个 neutralization module 用于提取 non-emotional content，另一个 emotionalization module 用于生成或者说融入 sentiment words。

如上图所示，下面的 neutralization module 其实是通过直接删除 emotional words 来实现 non-emotional content 的保留。这一步中，作者 [1] 通过使用 self-attention 得到的注意力权重作为分类器特征，从而自动找出 emotional words。从实验结果来看，这个方法的分类准确率也可以达到 90% 左右（不过 sentiment classification 本身也不是很难，稍微复杂一点的模型都可以达到95%甚至更高）。接下来就是 emotionalization module，可以看到，一个 encoder 和两个 decoder。两个 decoder 对应 sentiment classification 的两个类别（positive or negative），并且分别用于训练时的 reconstruction 和测试时的 generation（emotionalization）。

由于文本的离散性，作者采用了 RL 的方法来训练这两个 module。RL 成功与否严重依赖于奖励函数的设计。在这篇论文中 [1]，作者提出了两个 reward：sentiment confidence 和 BLEU。尤其是 BLEU，主要是针对作者想解决的问题——non-emotional content perserving。最终的奖励函数如下：

从实验结果来看，过去的工作主要都只考虑了 style transfer 的成功与否（sentiment accuracy），而没有显性地考虑 content perserving，所以确实在 BLEU 指标下表现很差。

但是也可以看到，这篇工作提出的方法 [1] 在大幅提高 BLEU 的情况下，ACC 也有一定损失。可以从这个结果看到，想要非常自然地融入 sentiment words 并且不破坏语义和语法，是很困难的事情。看一些直观的转换结果：

要分享的第二篇论文 [2] 几乎也是一样的思路。但是在具体实现上要更直接一点。第二篇论文 [2] 在进行 style transfer 的时候，基于的是这样的假设：文本的一些属性（attribute），比如文本传达出来的情感信息等，可以体现在文本中的某些特定词汇上。通过改变这些词汇，就可能直接改变整句文本的性质属性（value）。

由上面的示意图可以看出，作者将那些具有指示功能的特定词称为 attribute marker，通过（主要）改变这些 marker，进行 attribute transfer。文章进一步提出了4种具体的方法来改变 marker。

这4种具体的方式也由上图很清晰地展示了出来。值得一提的是 DeleteOnly 和 DeleteAndRetrieve。在删除了具体的 marker 后，作者提出再去根据这个没有情感特定性的句子去从数据中检索出一句最相似但是 attribute 的数值相反（target attribute）的话。检索出的这句话主要用于提取新的 target attribute marker，作为“重写” RNN 的输入之一。

很明显，这样的工作可能有一定局限性，但在一些简化场景中，却是更可控的。其实验结果也印证了这点 [2]。

上面两篇工作都是进行风格转换，而在进行文本改写的时候，还有一类常见的场景就是进行非情感类改写，比如扩写句子，改写语法错误等。在进行这样的工作时，其实也可以采用类似的思路。先找到一个“中立”的、“简单”的“模板”，再在这个基础上加入希望增加的信息，如情感、一些复杂修饰词等等。今天要分享的最后一篇工作 [3] 就是这样一个思路。

从上面的示意图中可以看到，修改后的句子增加了“modiocre”和“ridiculous”这两个形容词，变得更复杂了。而重中之重就是在学习 edit vector 上。可以看到，此时的 edit vector 不再是 sentiment words，而是一种 semantic operation。如果让 edit vector 作为一种隐变量，也遵循某种分布，那么同样的 edit vector 应该符合同一种 edit operation，并且对于句子的改写是一种微小的可控的操作。

基于这样的假设和期望，作者用 VAE 来建模 z，目标函数如下：

关键就是如何保证学到好的 p 和 q。这篇论文使用的方式和过去很多 VAE 的文本应用都不太一样，有兴趣的同学请一定去查阅原文。值得一提的是，这篇工作中的 edit vector z 是直接拼接在给 decoder 的每一个时刻的输入上的，并没有额外的 gate 或者 transform。这也是和上面两篇工作的区别之一。

最后从结果来看，作者提出的方法确实能更自然地改写句子。这点从 case studies 还有句子的平滑度方面可以看出：

更多相关阅读：

干货 | 限定和指导 Seq2Seq 模型的生成结果（一）

干货 | 限定和指导 Seq2Seq 模型的生成结果（二）

干货 | 你的 KL 散度 vanish 了吗？

ACL 2017 | VAE in Dialog Response Generation

注意力机制想必大家都已经很熟悉了。虽然注意力机制最初是被用在机器翻译上，但随后其在各种任务上都占有了一席之地，比如 multi-modal 相关的 image caption generation, video description，以及现在大热的机器阅读理解（machine reading comprehension）。

然而，注意力机制也有天然的弱点。最初提出的注意力机制，主要是利用当前状态解码器的状态 h_t 和过去多个时刻的 h_{t-i} 比较的结果，来计算其对应的权重——最终将这些信息和当前状态的信息一起综合利用，去判断当前时刻的输出。这样的机制归根结底还是将信息整合到一个向量中，不可避免会造成信息损失和弥散。

针对这个问题，研究者们也提出了不少解决办法。今天就想和大家分享其中几篇代表作。今天会涵盖的论文有：

1. Frustratingly Short Attention Spans in Neural Language Modeling. ICLR 2017.

2. Recurrent Attention Network on Memory for Aspect Sentiment Analysis. EMNLP 2017.

3. Dialog Generation Using Multi-turn Reasoning Neural Networks. NAACL 2018.

4. Natural Answer Generation with Heterogeneous Memory. NAACL 2018.

首先要介绍的工作 [1] 可以说是第一篇专注分析 NLM+attention 的工作。作者首先将注意力机制拆分为三部分：（1）keys: 对比当前时刻的状态和过去时刻的状态；（2）values: 比较结果用于建模上下文；（3）prediction: 综合当前时刻和上下文的信息来进行预测。然而作者认为，现有的方式并不能很好地实现这三件事。所以作者 [1] 提出拆分解码器的状态。

对比上图中的 (a) 和 (b)，可以看到，作者将解码器状态 h_i 拆分为 k_i 和 v_i，并用 k_i 比较每一个时刻的解码器状态，用得到的 v_i 建模上下文和预测下一个词。这就是作者提出的第一个改进模型，key-value attention model。

显然，这个模型中，v_i 仍然一人分饰两角。所以作者 [1] 进一步提出了第二个改进模型，key-value-predict attention model：将解码器状态拆分为三个向量，其中新引入的 p_i 用于做预测。这个模型示意图请参考下方左侧 (c)。

在实验中，作者提出的两个改进模型在大部分数字指标下的表现，都超过了传统注意力机制模型，并且符合预期地：key-value-predict attention > key-value attention > traditional attention。然而，从可视化的结果来看，这些模型的差异却并没有那么大：

作者发现，这些基于注意力机制的模型的注意力基本都局限在最近的5个状态的窗口里，也就是题目中所谓的 short span。这也直接导致了，当作者用基于 N-gram 的 RNN 代替基于注意力机制的 RNN 时，也取得了非常惊人的表现。

作者也通过改变注意力窗口大小，再次印证了，注意力机制的局限性。当窗口增大到一定程度，也就是注意力范围扩大到一定程度后，实验结果并不会继续提高了。换句话说，注意力机制对于捕捉 long-term 范围内的信息的帮助很小。实验结果可以见：

注意力机制的不足在某些任务上会显得尤为严重，尤其是那些对于句子的细粒度语义需要仔细把握的任务。而 Aspect Sentiment Analysis，也叫 Fine-grained Sentiment Analysis， 就是这样一个代表性任务。

Aspect Sentiment Analysis 的任务是真根据某一个 product/item 的某一个 aspect 来进行情感分类（negative，neural，positive）。常见的例子是电子产品，比如手机。关于手机的一个商品评价可能是从手机的多个方面来撰写的：照相效果很不错，但是电池使用时间较短。显然，这样的任务对于建模上下文语义（尤其是一些复杂句型的语义）的要求非常高。而仅仅依靠简单的注意力机制，或者说单一的注意力机制，就很难做到这点。举一个例子来说，"Except Patrick, all other actors don't play well" 这样的句子，就需要综合“except”和“don't play well”这两个信息，从而得出针对“Patrick”的情感是正向的。

为了具有更复杂的综合信息的能力，今天要分享的第二篇论文 [2] 首先将解码器状态拆分和整合成特殊的记忆单元（memory），然后提出了一种综合多种注意力机制的非线性方法。

由上面的模型图可以看到，LSTM 的状态被分解成了 memory cell，并且进一步整合成了 location weighted memory（左上角）。这是因为，对于 Aspect Sentiment Analysis 来说，一句话中可能有多个 aspect。而代表 aspect 的 target word 在一句话中的位置信息有助于建模 target-based context。换句话说，memory 对于每一个 target 是一样的；而 location weighted memory 对于每一个 target 就不一样了。在这篇论文 [2] 中， location weighting 的计算是启发式的（具体见论文公式7）：越靠近 target 的 sentiment words 的权重或者说影响力越大。

有了这些基础后，就到了这篇论文 [2] 的重头戏，recurrent (multiple) attention on memory。从名字来看就知道，首先 multiple attentions 用于抽取一句话中可能存在的多个片段的有用信息；而 recurrent 用于整合这些信息。更具体地，作者用 i_t 来代表每一个时刻从 memory 中提取到的（attended）有用信息，而每一次整合的结果存储在 e_t 中，不仅影响下一个时刻的 e_{t+1} 也影响着下一个时刻的 i_t。

这样的注意力机制不仅弥补了单次单个的注意力机制的不足，还增加了非线性带来的高层语义的捕捉（只是希望）。在实验结果上也有一定的印证：

上面这两篇的任务中，主要还都是只有单源头的信息。接下来要分享的一篇工作 [3] 改进的是对话系统中的注意力机制。因为对话数据一般是两个说话者的，所以信息是双源头的，这也为注意力机制带来了新的困难。

和上一篇工作比较相似的地方在于，这篇工作 [3] 也是将各种上下文信息拆分到多个记忆单元（memory）中去。只不过这一次，因为是对话的上下文，或者说语境信息，所以信息的种类比较多。具体地，作者将对话双方的对话历史存在了不同的记忆单元，并且将每个人的对话历史又进一步拆分成了两个粒度的记忆——句子级别的，对话级别的（有时候也会叫 session-level，或者说 conversation-level）。与此同时，因为当前最邻近的一句输入（query）是最重要的，作者提出针对这个特殊 query 建立独立的记忆单元。

从上图可以看到，共有四大种（四大列）记忆单元，Mh, Mc, Mq, Mr。其中 Mh 是句子级别的记忆单元，Mc 是对话级别的，Mq 和 Mr 是针对 query 的（对话双方交替建模）。有了这四大种记忆单元，作者分别（separately）对它们使用了注意力机制（multiple attentions），然后将四个 attention vectors 拼接在一起，用于最终的预测。作者将这种模型称为 MULTI。

基于 MULTI，作者进一步提出了 multi-turn attention reasoning。其主要启发自机器阅读理解中的 multi-hop reasoning。关于这部分的细节请大家查阅原始论文 [3]。

今天最后想分享的论文 [4] 也是希望整合多步注意力机制的结果，但是用了一种比较新颖的、和 multi-hop 不同的，整合方法。multi-hop attention 的方法主要是对于同一个、单一的 context vector（可以通过各种方式得到），多次使用注意力机制（multi-turn）。而这篇工作 [4] 则是，对于多个 memory cell 多次使用注意力机制，从而最终得到针对 memory 的经过注意力整合后的 context vector。也就是说，这次的 LSTM 隐状态的拆分，首先表示在数据语言中隐藏的普通语义和外部知识库的拆分；其次针对外部知识库的隐状态，又使用了注意力机制进行知识整合。这两大类的隐状态最终拼接组合成解码器的状态，进行预测。有一些绕，还是请大家看示意图：

以上就是今天想分享的内容。从今天的内容可以发现，过分依赖注意力机制是很危险的。注意力机制的使用最好配合着特殊的信息拆分和表达。如果说曾经一时无两的神经网络大法使得大家都将各种信息一股脑丢进去而等待结果，那么现在越来越多的研究反而开始将信息重新拆分出来，各司其职也许效果更好。

相关文章推荐阅读：

1. 干货 | Applied Attention-based Models in NLP（一）

2. 干货 | Applied Attention-based Models in NLP（二）

3. ICLR 2017 | Attention 和 Memory Networks

4. 干货 | NIPS 2015 Reasoning, Attention, Memory Workshop

5. 干货 | 关于 Attention in Cognitive NeuroScience 你需要知道的7件事
   

今天继续关于 Lexically Contrained Decoding 的一些工作。上半部分的内容请点此查看。会涉及的论文有：

1. Fast Lexically Constrained Decoding with Dynamic Beam Allocation for Neural Machine Translation. NAACL 2018.

2. Sequence to Backward and Forward Sequences: A Content-Introducing Approach to Generative Short-Text Conversation. COLING 2016.

3. Towards Implicit Content-Introducing for Generative Short-Text Conversation Systems. EMNLP 2017.

4. Neural Response Generation with Dynamic Vocabularies. AAAI 2018.

5. Globally Coherent Text Generation with Neural Checklist Models. EMNLP 2016.

6. Learning symmetric collaborative dialogue agents with dynamic knowledge graph embeddings. ACL 2017.

7. Dynamic Entity Representations in Neural Language Models. EMNLP 2017.

8. Delete, Retrieve, Generate: A Simple Approach to Sentiment and Style Transfer. NAACL 2018.

9. Retrieve, Rerank and Rewrite: Soft Template Based Neural Summarization. ACL 2018.

昨天大部分论文是预测一个主题关键词，来指导和限定回复。很多时候，这样的关键词也可以从上下文中直接抽取。有一类代表词就是实体词，entity。

关于 entity 的研究在近三四年的时间里获得了许多关注。entity 不仅是知识库的重要组成部分，也是理解很多特定体裁的文本的关键，比如小说和新闻中的各种人物关系。同时，entity 也在特定领域对话中扮演着重要角色。

今天要分享的第一篇工作 [5] 则集中在一类更特别的文本生成——菜谱生成。菜谱生成的研究和 video description 还有 script knowledge 都有关系。而其最大特点也是，在一份菜谱中覆盖着多个 entity，还有对于这些 entity 的操作。也因此，这篇工作 [5] 设计了非常显式的记忆机制，专门去建模 entity。

其主要思想 [5] 可以由上述示意图来表示。给定一个菜谱标题（菜名），和一系列 entity 也就是菜谱的“原材料”，这篇工作 [5] 使用序列模型逐步生成菜谱中的每一个 token。在每一个生成时刻，预测是否该生成一个 entity。如果是，则从原材料列表（agenda）中计算出概率最高的那个，作为此刻的输入。

到此为止，这个思想还是类似于 CopyNet 或者说 pointer network 的。但是这篇工作 [5] 因为针对菜谱生成，将其进一步细化了。对于菜谱来说，有些 entity 被生成后，还会被再次提及。所以这篇工作 [5] 将每一时刻的门的判断，由两种选项，扩展成三种选项——（1）普通 GRU 生成，也就是非 entity 限定；（2）生成一个新的，还没被提过的 entity；（3）生成一个旧的，已经被提过的 entity。自然而然地，一个新的 entity 一旦被生成，就会变成“旧”的 entity，也就需要记录这种“变化”——由此就有了 checklist 的思想。这篇文章 [5] 也因此将模型命名为 checklist model。

上面的 checklist model [5] 的适用范围不止是菜谱生成。如果把 agenda 中存储的 entity 从菜谱原材料变成一些 slot，就可以进行特定领域对话的生成。其根本思想是追踪、记录和更新某些特定的某些实体/信息——即用特殊机制建模特定信息。

从这个角度来说，曾经我们详细介绍过的另一篇工作 [6]，也可以被划分到这里来。

在这篇工作 [6] 中，对话中涉及的 item（朋友列表）是被追踪和更新的对象。这些对象是图中的结点，作者 [6] 希望获得每个结点的表达（vector representation for each node），也就是 Graph embedding。每当新的对话信息被加入，就需要更新这个对话信息中涉及到的相关结点的表达。比如上图中，当出现了“anyone went to Columbia”的时候，首先相关的结点肯定是 columbia。但和 columbia 相关的别的结点，jessica 和 josh 也应该被更新。关于这篇论文的具体解读可以点此查看。

上面这篇论文 [6] 的核心思想就是利用动态表达（Dynamic Representation）来建模核心信息（item）。这类思想也在过去几年的关于 general entity 建模中被广泛使用。这方面的一个代表性工作就是由 [7] 提出的 EntityNLM，entity neural language model。

可以看到，作者并不局限在某一个特定场景下的工作，而是使用 language model 建模含有大量 entity 的文本。换句话说，作者的工作使用的是生成模型，而且是含有隐变量的条件生成模型。

由上图看到，R，E，L 都是要学习的变量。这些变量主要用于辅助预测当下时刻要生成的是否是一个 entity。接下来就是如何去学习这些 entity 的表达。可以想到，entity 的表达受 context 和这些变量影响下的其他 entity 的影响。作者 [7] 也因此使用了 dynamic representation。并且，同上面两篇论文一样，每一词预测出一个 entity 后，这些 dynamic representation 也要更新。关于这两部分的细节公式，请大家查阅原始论文 [7]。

限定和指导 Seq2Seq 模型生成结果的另一个重要应用是风格迁移（Domain Adaptation），其潜在的场景就是领域迁移。最早的基于神经网络风格迁移多数是先预训练一个模型，再在新领域的数据上 fine-tuning。这样的过程虽然简单粗暴，但效果往往不尽如人意。尤其是在由离散数据组成的文本迁移上，由于很难通过连续改变一个像素点的数值来训练，导致训练结果更加不可控。

这篇工作 [8] 则给出了一个新的可行思路。文本的一些属性（attribute），比如文本传达出来的情感信息等，可以体现在文本中的某些特定词汇上。通过改变这些词汇，就可能直接改变整句文本的性质属性（value）。

上面的示意图给出了这篇工作 [8] 的思路。作者将那些具有指示功能的特定词称为 attribute marker，通过（主要）改变这些 marker，进行 attribute transfer。文章进一步提出了4种具体的方法来改变 marker。

这4种具体的方式也由上图很清晰地展示了出来。值得一提的是 DeleteOnly 和 DeleteAndRetrieve。在删除了具体的 marker 后，作者提出再去根据这个没有情感特定性的句子去从数据中检索出一句最相似但是 attribute 的数值相反（target attribute）的话。检索出的这句话主要用于提取新的 target attribute marker，作为“重写” RNN 的输入之一。

很明显，这样的工作可能有一定局限性，但在一些简化场景中，却是更可控的。其实验结果也印证了这点 [8]。

最后来看的这篇论文 [9] 有着异曲同工的思想——也是将 Retrieval 和 Generation 结合在一起——却是用在自动摘要（Summarization）的任务上。自动文摘的研究可以大致分为模板式（template），抽取式（extractive）和生成式（abstractive）。三者各有利弊。这篇论文 [9] 也算是尝试将模板式和生成式结合起来的一种新思路。思想虽然简单，效果依然出乎意料地好。

这篇工作 [9] 的思路如上示意图。给定一句话（first sentence in the news），先去检索出一些相似 news，将它们的摘要（headline）作为候选 summary candidates。然后遵照常用方式进行 rerank 找出最合适的那一句 headline 作为“soft template”。这个 soft template 结合原始的输入，一起传给改写 RNN，生成最终的摘要。

对比 [8] 和 [9]，这两篇工作都通过 retrieve 的方式从数据库中找了最相似的数据来作为“soft template”。可以猜想，这一步也可以认为是改写出更自然的、更流畅的句子的关键。

这次的两篇总结提到的论文远远覆盖不了 Lexically Constrained Decoding 的全部研究。从更广泛的角度来讲，大家非常熟悉的 CopyNet 或者说 pointer network、placeholder approach 都可以归为这个范畴。相关文章推荐大家阅读：

1. 干货 | 限定和指导 Seq2Seq 模型的生成结果（一）

2. ACL 2017 | 别再对抗了，通过对话合作找出共同的好朋友吧！

3. ACL 2016 | CopyNet 和 Pointer Softmax

4. 干货 | Pointer Network 与 CopyNet 之上有哪些新颖任务

Seq2Seq 模型被广泛应用在 NLP 的任务中，包括最被人熟知的机器翻译（Neural Machine Translation，NMT）和越来越火的对话系统（Dialog）。今天我们主要关注 Seq2Seq 模型应用到序列生成的问题。

序列生成的过程，就是解码器解码的过程。在过去几年的发展中，研究者们逐渐开始关注使用一些先验知识来辅助解码过程，如要求解码出来的序列必须包含某个词汇。这样的研究可以广泛划为“Lexically Contrained Decoding”。

Lexically Contrained Decoding 可以认为是启发自基于统计的 phrase-based MT，但随后其思想被转化应用到许多相似任务中。在一些任务中，含有指定词汇的要求被放宽到了由指定词汇指导（implicitly guided）。本文会涵盖的相关论文，覆盖了 NMT, Dialog Response Generation, Style Transfer 和 Summarization 等。这些论文是：

1. Fast Lexically Constrained Decoding with Dynamic Beam Allocation for Neural Machine Translation. NAACL 2018.

2. Sequence to Backward and Forward Sequences: A Content-Introducing Approach to Generative Short-Text Conversation. COLING 2016.

3. Towards Implicit Content-Introducing for Generative Short-Text Conversation Systems. EMNLP 2017.

4. Neural Response Generation with Dynamic Vocabularies. AAAI 2018.

5. Globally Coherent Text Generation with Neural Checklist Models. EMNLP 2016.

6. Delete, Retrieve, Generate: A Simple Approach to Sentiment and Style Transfer. ACL 2018.

7. Retrieve, Rerank and Rewrite: Soft Template Based Neural Summarization. ACL 2018.

在 NAACL 2018 上，相关学者 [1] 提出了 O(1) 复杂度的 lexically constrained decoding 算法，使得 batch decoding 等技巧也可以同时使用，大大提高了解码效率。[1] 的方法中，首先也保留了像常规 k-size beam search 一样的需要维护的一个 k*|V| 的 scores 矩阵去记录每一时刻的扩展当前 hypothesis 的词汇生成概率。也就是下图的中间部分。如果按照正常的 k-size beam search，下一个时刻保留的 hypothesis 就会是 scores 矩阵中的 top-k 的词了（也就是下图中打★的那些词）。但是，这样的算法无法保证解码到最后，含有要求的词汇，也就是不满足 Lexically Constrained Decoding。

为此，[1] 的工作提出将 beam 按照满足限定词汇的个数的多少来分组。上图中最左侧的不同形状的符号，就表示一个限定词汇（constraint），而空心则表示还没被满足，实心则表示已经生成过。这些词汇也可以中间的 scores 矩阵最下方找到。基于这样的分组，[1] 提出每一个解码时刻，除了要保留 top-k 以外，还要保留那些还没生成的但有很高概率的词汇去加入到下一个时刻的 hypothesis 中去。这些词也就是上图中的加了→的。又由于，本身有一个 beam bank 是记录已经满足了全部限定词汇的，可以认为这类 hypothesis 是已经 partically-completed 的。对此，[1] 提出保留的第三类 item 就是 single-best token，也就是图中◇的。

有了以上三类 candidate items（★，→和◇），就剩下如何分配这些 item 到相应的 beam bank 了。这篇文章 [1] 提出了比较 ad-hoc 的办法去动态分配这些 item。因为整体只维护着一个 k-size beam，最终的算法效率还是 O(Nk)，其中 N 是解码的句子长度，k 是 beam size。

因为这篇论文[1] 主要研究的是不限定个数的、不限定位置的 target-side lexically constrained decoding，可以看到其适用范围是非常广泛的。一个比较直观的展示结果的方式就是去看看解码出来的句子，是否能找到比较自然的、合理的囊括限定词汇的位置，从而不破坏整体句子的可读性。以下是作者的一些实验案例：

这个展示结果也可以从侧面证明，BLEU scores 的提高并不仅仅是因为涵盖了限定词汇，而是正确运用、放置了这些词汇。

在 NMT 中使用限定词汇可以帮助一些初级语言学习者。word-by-word 的翻译虽然有时候比较生硬呆板，但是对于语言学习者来说比较容易在翻译结果中学到新的词汇。

接下来要介绍的几篇论文是要指导和限定对话回复生成的结果。因为对话中的你来我往的一对聊天（utterance pair）的语义关联不像 NMT 翻译任务中的那样显著和紧密，直接使用经典 Seq2Seq 模型常常会学出过于普适的万能回复（generic response）。缓解这个问题的办法有很多，其中一个办法是引导模型生成一些特定主题的词汇。

在这个方向上，先来看 COLING 2016 的一篇工作 [2]。[2] 的工作提出的 Seq2BF 模型在生成回复时，采用逆向和正向结合的生成方式去引入指定词汇。作者希望指定的词汇是对于某一句最相关的，而不是最常见的。所以在这一步，他们 [2] 用 PMI 相关指标来预测出某一句话的指定词汇。随后，为了让这个指定词汇能出现在回复中的“任意”位置（不仅仅是在开头），作者将生成过程分解成了两个子过程，从而提出了下面的模型：

上面的工作有一个比较明显的问题就是，他们要求生成的回复必须包含这个预测出来的指定词汇。首先这是一个过于强的假设，其次，当预测的词汇不是很相关时，会非常严重的影响生成的回复质量。

为了解决这个问题，[3] 提出了 implicitly content-introducing 的方法。一提到 implicit，比较容易想到的办法就是利用 gate mechanism。[3] 的工作基于 gate，提出了 hierarchical gated fusion unit (HGFU) ，让预测出来的关键词能指导回复的生成，而不是限定。具体地，[3] 提出 fusion 需要两步，local information initialization 和 global information inception。local 的部分就是用于初始化解码状态，而 global 的部分则是重中之重。

上图就是 [3] 提出的用于 global 的 HGFU。其创新点在于引入了一个额外的 cue word GRU，用于独立地捕捉指导词汇的信息，而不至于让 cue word information 弥散在 decoder 的状态中。最后，一个 high-level 的 fusion unit 用于整合两个底层 GRU 的信息，从而更综合地生成回复。如果把 fusion unit 中的 gate 成为 k，k 的开关就决定了信息到底是来自于两个底层 GRU 中的哪一个。

虽然看起来方法比较简单，但效果还是不错的。可以先来看看 k 的可视化：

再来看看更多的生成回复。从这些回复中可以看到，有些回复是包含了预测的词汇的，有些回复则没有显性包含。这说明 [3] 提出的方法确实可以做到 implicitly content-introducing。

下面要介绍的这篇工作有一点点不同。在限定词汇方面，之前的工作都是找到一个或多个特定的词汇，强加给解码器。而这篇工作 [4] 则从另一个角度来帮忙解码器生成更好的回复——从解码词表中，动态剔除完全不相关的词汇，让解码器不再受无关词汇的扰乱，同时加快解码过程。一图胜千言：

这样的方法最直观的效果就是解码的搜索空间小了，所以先来看看效率提升：

再来看一些生成的回复：

上图中的 keyword 就是动态词表构建过程中根据当前输入来找到的语义相关的词。图中给出的是概率最高的三个 keyword。这些 keyword 也可以认为是一种大范围的指定词汇。

由于篇幅限制，剩下三篇工作留待明天分享。剩下三篇工作中，会提到一类非常重要的限定词汇：entity。希望大家多多支持！

大家好，我是 Yangyang，目前在 Microsoft Vancouver 工作了一年多。今年是我第一次参加 GHC，很受鼓舞和启发，在此与大家分享我的所得：GHC速览 & GHC 18 感想 & 参会Tips。 

GHC 的全称为 GraceHopper Celebration of Women in Computing，官网为https://ghc.anitab.org/。GHC 由 AnitaB.org 和 ACM 主办，从1994年至今已经举办了18届，2006年开始每年举办一次，会期多在九月和十月。
GHC 主要包括 technical 和 career 两大类 session，同时也有 career fair, awards ceremony, competitions 等多个环节，聚集了来自全球各地的女性科技工作者以及支持 GHC 社区的同盟（GHC也非常欢迎非技术类妹子参加）。
GHC 18 于9月26-28日在 Houston, Texas 举办，参会人数为 20,000+。

主会场 - GRB 外观

在 GHC 18 的三天里，我每天给自己安排了6-7个 session，主要是关于 career 的，想获得一些 early-career 的发展建议。
九月的最后一天，我回想过去的九月和过去的二十几年，问了自己的很多问题，重新去认识和面对自己，然后明白了我从 GHC 18 学到的最重要的事是：要真正地面对自己，相信自己，想说什么就要说出来，想要什么就要开口，主动向前一步。

那天我有点激动，写了很长的朋友圈，下午又写了英文版（点击阅读原文可查看）以分享给更多人，在这里分享最主要的三个方面给大家：

 在 GHC18 的 Session:Nail Your Promotion 里有一个环节：和你身边的人互相练习要用“I”开头的句子来描述你最近工作里的 achievements，一定是“I”而不是“We”。我跟同事 H 坐在一起，一开始我们不知道说什么，后来一句一句越说越多，到最后我们都有点想哭。因为我们是同组的同事，互相了解对方的工作，所以后面都帮对方补充了一些“I”句子。那一瞬间，我意识到，我原来这么不相信自己，原来我做了这么多，原来别人也认可我的工作，只有自己没有给自己认可。

在这个 session 过后的几天里，我一直在问自己：什么让我觉得自豪？做什么让我真正地从内心感到快乐？我在害怕什么？我为什么不相信自己？我想成为什么样的人？我过去是怎么做的？有什么是我想保持的和想改变的？后来我写下了非常多的“我”句子，这里分享一部分吧： 

在这样几番的自我对话之后，我开始相信自己是很棒的人，是值得被爱的人，也是认真去爱的人。如果你是一个不够自信的人，那么就尝试向自己提问吧，一定要让内心深处的自己来回答。Confidence is the stuff that turns our ideas into actions. What we believe matters. 诚实地面对自己，相信自己，接受自己，是自我成长的重要一步，有时甚至是第一步。

这是我在 GHC18 的多个 session 听到的共同点，听起来有点鸡汤，但从前我都是“道理我都懂，生活还是过成了这样”。向前一步，曾经真的很难，尤其对于女生。多少个时刻，我在犹豫，我在胆怯，我欲言又止，然后什么都没有改变，自己也不开心。在 GHC18 的经历告诉我：

第一次听到这句话是在Session: Nail Your Promotion。回想自己工作满一年的时候有个升职节点，我想知道自己有没有机会，但我总等着 manager 来跟我聊，而我同组的两个哥们一直在催我主动跟 manager 聊。我犹犹豫豫好几次，我怕尴尬，我怕失望。终于在一次1/1上跟 manager 问了，manager 给了我反馈和认可，也解释了为什么这次没升，也聊到了其他人都做怎么样。听过这个 Session，我回想起来，这件事最后并不尴尬，反而从中获得了很多有用的信息。

所以，当你想退缩时，问问自己：我在害怕什么呢？事情真的这么复杂吗？最坏的结果是什么呢？我能做什么让结果不那么坏？然后你会发现，有时你只需要 Say Hello，只需要 Ask Questions。所以啊，Don’t wait for the door to open. Open doors and go through them. 

在 Keynote 里 Padmasree Warrior 提到：Eyes on the star, feet on the ground。当时我就想，这不就是“仰望星空，脚踏实地”！可是还缺点什么呢，怎么才能更接近自己的星星，怎么更好地脚踏实地？后来我从其他的 session 得到了一种答案：Measure you achievements。

这是一条很有实践性的建议。比如工作中，你会不会觉得自己做了很多事情，但是好像太琐碎，别人也看不到？这时量化你的工作成果就很重要。你可以问自己，这个月我做了几次 Demo？我手中的项目有几个阶段，我做了哪几项工作，推进到了哪里？这个项目的结果有什么指标可以衡量，我期望以及实际提升了多少？比如生活中，你会不会觉得每年都过得好快啊，我怎么好像什么也没做？你同样可以尝试量化生活中的 achievements。比如问自己，今年去了哪几个地方，拜访了哪些人，读了哪些书，有哪些是我今年的大事件？Measure you achievements, 其实是在沉淀和分析你的所得，也帮你去设定新的目标，审视自己，也展示给他人。

在 GHC 18 的第三天上午，我取消了之前注册的 session，我花了一上午在 Career Fair 的各个展台之间穿梭，我问不同公司的工程师：How do you feel about yourcompany? Do you like your job? What’s your most interesting project recently? 朋友开玩笑说，你不是去参加面试，你是去面试 ta 们呀！再回想整个九月，我跟很多人交流了很多事情，比如，和不同的朋友聊工作聊家庭聊自己，和小伙伴们在 KTV 聊唱歌的经验，和当时的 Airbnb 房东聊中西文化差异，在 GHC 和同事聊参会感想，和爸妈聊对过去的和现在的自己的想法。这些都让我觉得很开心。

我想，交流的意义在于连接，在于给予和获得的正向循环，在于建立属于自己的Sponsor Network。我越来越愿意说出自己的想法，获得他人的反馈，无论是支持还是反对；我也倾听和了解 ta 们，向 ta 们分享我的经验，给出我的反馈。曾经我觉得“Impact”是一个很大很远的词，现在我觉得只要有一个人因为我分享的东西而受到启发，这就很有意义。我也感谢他人给我带来 ta 们的 impact。这些都是你我所处世界的碰撞、拓展和延伸。

很多个 Session 都提到，要 walk across boundaries，要 push yourself to your boundaries，也提到 Growth is inversely proportional to comfort。我在从 GHC 18 回来之后，跟当时的 Airbnb 房东聊起这个话题，她给我推荐了 TED 演讲：The power of vulnerability | Brené Brown。我看完之后的体会是，如果我想要突破自己的极限，push 自己一把，首先要做的是接受自己的不完美。

就像我在上面那段“我”句子所说的，我有很多不完美的地方。而从前我是那么那么那么在意别人的看法，典型的讨好型人格。我把自己限制在自己想要的“完美”里，然后对自己的弱点深恶痛绝。我总是要让自己做到 well-prepared，然后对那偏离计划的10%而焦躁不安，而责备自己。现在我明白了，因为我不曾相信自己，不曾接受自己，我总想100%的去 control，去 predict，其实完全不可能做到。我要做的是去调研、去交流、去发现、去解决，去化解100%的压力，去把0%的信心变成60%的把握，然后认真地努力地向着100%行动。即使这件事成功之后，再回头看，你会发现过程本来就会 messy，再重头来过，也没法做到每个细节100%。Jesscia O. Matthews 在 Keynote 里说：Just because it’s not your plan doesn’t mean it’s not your destiny。所以我与自己和解，接受过去和现在的自己，接受不完美的自己，不苛求，有期待，有行动。

还想再说一些琐碎的感想：

今年没有 guaranteed tickets，需要自己守在电脑前注册抢票。注册开放时间为 9AM PST。主办方今年更新了注册算法，记录每人最后一次打开的浏览器窗口中的最后一次点击为最后排队顺序。所以找一个网络靠谱的地方，刷出注册按钮后，一次点击即可，大概1-5分钟后会出现下一步。整个注册全部完成大概花了10分钟。每一步的响应都比较慢，要耐心。最好给最终显示注册成功的页面截个图，以防万一。最后收到 confirmation 邮件，才算是完全确保注册成功。

GHC 18 注册类型包括 general, academic, student三种，general 价格为1,150USD，后两者价格会便宜很多，听说学生注册是 300 USD，但我没有注册过，猜测会需要相应的身份证明。

今年 GHC 的会场主要在 George R.Brown Convention Center (GRB), Marriott Marquis (MMQ) 和 Hilton Americas-Houston (HIL)，GRB 的两端有天桥分别连接 MMQ 和 HIL。GHC 官网有推荐的酒店列表，也有 shuttle 连接各个酒店和会场。我跟同事妹子 H 很幸运抢到了 HIL 的房间，省去了每天 shuttle 来回的时间。

我们实际订酒店的过程有点慌乱。由于我们公司报销的 approver 多次强调确认拿到票了才可以订酒店，我们收到 confirmation 之后再去看酒店列表时，发现 HIL 每人一间会超额度。于是马上跟 approver 联系，确认两人一间没问题，便赶紧下手，最后在注册后的半小时抢到了一个 HIL 的房间。有国内小伙伴告诉我，当时她抢完票国内已经半夜了，想着第二天一早订酒店，结果第二天只能订到 shuttle 最远处的酒店了。

建议想参加 GHC 的小伙伴，先提前查看官网推荐的酒店列表信息，确认公司/学校报销限额，列出可选酒店；注册成功就马上订酒店。如果无需考虑报销限额，或不怕注册失败而酒店可能无法取消的问题，可以提前订酒店。 

GHC 18 可以通过网站或 APP 提前注册感兴趣的 session，获得 reserved spot。Keynotes 无需注册，featured sessions 的 reserved spot 很快会被约满。入场时有两个队列：reserverd, walk-up。Reserved 队列先入场，walk-up 队列后入场，一般也都有位置。

我是在 GHC 18 iOS APP 注册 reserved spot，Schedule 页面点击 session 右侧的+号即可。重叠时段只能注册一个，之后可以在 My Schedule 看到自己选择的 session。建议慎选20min session，个人感觉 career 类的20min session 比较水，内容基本和相似的1h session 重叠。（另外同事反映，今年她在 Web 端的 reserved spot全部丢失，Andriod APP 经常卡死闪退。希望今年会有人对此给出反馈，GHC 19 能做得好些。）

尽量选择直飞航班，不得不转机的话就尽量多留一些时间，飞机还是很容易延误的；如果没有买买买需求，带个小的登机箱会比较方便，转机也不用担心行李跟不上。

国内过来的小伙伴，中美时差很长，而会期很短，所以可能刚倒过来时差，回去又得倒回来。建议借助褪黑素，尽量撑到晚上睡。比如上飞机之前吃1-2粒褪黑素，尽量在飞机上多睡；落地后困了也尽量撑到晚上再睡；睡前1小时可以吃1粒褪黑素。

建议关注出发地和目的地天气，考虑会场有空调，必备薄外套和雨伞。比如：Houston 当时气温大概是23-30℃，偶尔有雷阵雨。室外很湿热，会场里面很冷，所以我当时是：夏装+外套+雨伞。（我跟好几个妹子都吐槽了，GHC 作为面向女性的大会，空调温度上的关怀还不够啊。）

第一天没有考虑人很多的问题，比较狼狈。酒店本身的自助早餐和附近的星巴克都排着很长的对，转了好几个地方，我们才在 GRB 二楼找到队伍稍短些的小餐吧买到吃的，一路奔去丰田中心听 Keynote。午饭时间依然到处排长队，因为我和同事都有 pre-registration，想听的 session 间隔很短，之后放弃了午饭。下午主办方供应了一些甜点、面包、蔬菜沙拉，可以拿来充饥。晚饭时间比较宽裕，可以寻找合适的餐馆，如果去参加 party 也有食物。建议参加 GHC 的妹子，每晚买好第二天的早饭或者订好酒店的早餐客房服务，同时也买点零食面包，免得因为来不及排队而吃不上午饭。 

GHC 三天会期，前两天晚上有些公司会安排自己的 party, 第三晚是 GHC 官方的 party。第一天我去了 Microsoft party，公司也发了注册的 link 给 FTE，鼓励大家转发&邀请其他参会者，位置离主会场步行20min可达。第二天有 Google 主办的 WomenTech Worker 的 party，需要先排队登记，然后排队乘大巴去 party 场地。第三天GHC 官方 party 就安排在主会场，凭借注册时发的票入场。也听说了 Twitter 等其他公司有 party，有兴趣参加的小伙伴可以尝试去 career fair 的各公司展台直接提问。

以上就是 Yangyang 此次参加 GHC 的主要感想啦。

当我们收到 Yangyang 的投稿时，真的非常感动。这样长的感受，这样深刻的自我认识，这样无私的分享，无不传递出大会给人带来的积极影响，以及源自她内心深处的能量。

如果大家看后有所收获，也希望大家积极把这篇文章分享给周围的朋友~

08年，我刚加入公司的时候，被告知在公司工作十年以上就有资格享受12周的年资假。当时并没有觉得这个福利和自己有什么关系，毕竟太过遥远。

可似乎转眼间，十年就这样悄无声息走到了面前。

十年中，我的角色发生过很多次变化，刚入职的时候是QA（质量保证分析师） ，后来做项目管理，之后因为意想不到的机会转职做People Lead（人力资源总监），从此一发不可收拾，我在转型的路上越走越远。十年来，我尝试过的角色不少于五个，技术、人力、运营、软件交付、咨询，还不包括兼职做下来了社区创立者、全球创新项目负责人以及培训师。

回首过去的十年，每一次转型都有很大的跨度，也正是因为这些跨度让我这十年很丰富。

有一位前辈曾经和我说过：这家公司给不了你一个看得到的未来，但过程中的未知和不确定会让你终身难忘。

我用十年的时间验证了这句话的正确性，作为一个喜欢做梦，热爱思考，经常发呆也乐于自省的职场女性，有一些关于职场和成长的感悟，想掏心掏肺和大家分享。

1 从软件测试到人力资源总监，经历了什么

当初来ThoughtWorks是因为猎头的推荐，真正让我下定决心加入是因为ThoughtWorks践行的自动化测试，当时我预见自己会在测试领域摸爬滚打好多年，甚至想着测试将会是自己专注一生的领域，因为业内层出不穷的新技术、新工具、新观点让我一直很兴奋，不断涌现的市场需求也给我带来安全感，当时身边也有一些牛人指路，让我看到了上升空间，所以那时候我的志向差不多就是做测试界的百科全书。 

但是在我加入三年后，突然有一天，我的Sponsor（导师）过来找我，说有一个机会，问我愿不愿意尝试中国区 People Lead（人力资源总监）这个职位。

当时这个职位已经空缺几个月了，前任离职后，中国区花了很长时间去招聘，但一直没有找到合适的人。

ThoughtWorks特殊的文化决定了对这个角色的要求和普通的人力资源总监不一样，这是一家专业技术公司，绝大多数的员工都是技术人员，作为人力资源总监，只有充分了解技术人员，了解他们的工作，能听懂并且理解他们讲的故事，才能真正发挥同理心，更好的关注到他们，给他们提供帮助并且支持他们的发展。

中国区决定在内部寻找，而我就是在这个时候被识别出的候选人。

我当时很惊讶，完全没有做好准备，这个转型是我从来没有考虑过的事情。

但是有很多同事过来找我，告诉我他们的想法。

真正影响我做决定的是这句话：多年以后，你可能不会后悔自己做过什么，但是你可能会后悔自己没有做过什么。

总之，没有一个人告诉我放弃。

直到现在，我还是很喜欢ThoughtWorks保留下来的这种文化，有时看似是一个人的事情，但会有很多人过来提供建议，他们不会干预你的决定，但是他们会毫无保留的和你分享他们的想法。

他们所有的人都鼓励你勇敢，尝试新的事情，他们容忍失败，认可每个人突破自己。

很多年以后，我发现自己成长最快的时候都是从做大胆决定那一刻开始的。

在新的岗位上，我接手的第一件事情就是给员工销假，我怎么也没有想到，本来是怀着为人民服务的理想踏上岗位的，但上岗之后做的第一件事情竟然是做“恶人”，赤裸裸“剥夺”员工的利益，“剥夺”以前和我紧密合作的同事的利益。

那时候公司的规模开始增长，但是各种制度还不健全，有的制度还成了公司发展的硬伤，比如休假制度，以前的规定是员工可以无限期延长自己的年假，有的老员工累积的年假已经超过50天，这在财务上是一种负债，对于一家专业服务公司来讲，这种负债越大，公司运营的风险就越高。

当时中国区还不盈利，一直是全球的投资在支持，所以即使销掉员工的一部分假期，也没有办法按照百分百的比例给予补偿。对于假期累计很多天的同事来讲，这是难以接受的事情，包括我自己。

在职场上，甚至在人生的某些个阶段，你可能都有机会遇到这样的事情，理性告诉你这样去做，但是情感上你说服不了自己，或者站在一个立场上你是在做正确的事情，但换个角度你就罪大恶极，这种问题没有答案，考验你的是如何在获得他人理解的基础上解决问题。

骨头非常硬，但还是要啃。

我和所有受影响的同事一对一沟通，解释上下文，解释为什么做这个决定，倾听他们的抱怨，接纳他们的情绪，有一位老外同事在我面前拍了桌子，指着我的鼻子发泄他的愤怒。

那段时间，每个晚上我都失眠，感觉自己站到了喜欢的那些人的对立面。

那时候，我想到了放弃或者离职，但我上岗不过才一个星期。

后来想想，那其实就是不舒适区，突然跳进去，没有半点过渡，我由一个关注事情的人突然变成要关注人，有太多的技能我需要学习，沟通能力，影响力，自我管理等都需要提升。

没有办法的话，死扛着也会有转机。

我完成了所有的谈话，也完成了设定的目标，这中间有些人让我很感动，他们理解这个决定也非常配合我推进这件事情，我知道他们是基于对我的信任。

后来，那个老外过来和我道歉，在他理解了之后，还帮我推动了一些事情。

那件事情结束之后，我就开启了疯狂补课的模式，学习人力资源的系统知识，做各种主题阅读，参加研讨会学习行业经验，考取了人力资源从业资格证，我还给在校大学生做了一百个小时以上的职业咨询，在几个人力资源平台做签约作者。

真正到了一年以后，我才敢和别人说，我是人力资源从业者，尽管那个时候我仍然在不舒适区，因为我还有很多东西需要学习，我也还有很多解决不了的问题。

但时间是不等人的，新的机会总是会在你还没有准备好的时候就出现了。

2 再一次归零，失败了会怎样

2013 年，公司在全球的领导团队发生结构调整，时任中国区MD（中国区总经理）的郭晓调任全球CEO，中国区的其他运营角色也随之发生变动，我由People Lead 岗位转为PSM（专业服务资源管理）。

这是一个为所有项目匹配资源的角色，前提是要对中国区所有的专业人员和客户项目有充分的了解。

项目匹配的复杂度之高是难以想象的，因为项目的需求各不一样，客户领域不一样，工作地点不一样，周期和起始时间不仅不一样还不断动态调整，相应的，在人员的分配上，不但要考虑每个人的技能，还要考虑机会是否符合个人发展意愿，是否需要出差协调家庭。

归根结底，这份工作协调的是供求关系，困难的是供和求都在动态调整。

不仅如此，这个工作的边界也很难定义，从密切关注商机预测，到把供求关系转化为培训计划，招聘优先级和启动全球支持，都需要参与。

那个时候中国区已经进入了一个快速发展的通道，规模的扩大已经带来了一些问题，以前是一个人处理的事情，现在需要一个团队协作来完成。

在新的岗位上，我第一件事情就是组建团队。

团队里面的第一位RM（资源协调经理），是我们从业务部门识别出来的，我们俩在没有前人经验的基础上，摸着石头过河，与人力资源比起来，这个角色不属于任何领域，市场上也找不到相关的行业经验，所以在这个岗位上，发展空间难以预测，职业安全感相对也较低。

三个月后，我唯一的团队成员提出了辞职，我像一个创业失败的人重新回到起点，那段时间，我自己也曾想着放弃，觉得自己不擅长从零做到一，那是在那个职位上最迷茫的一个阶段。

后来在中国区总经理胡凯的帮助下，我去了印度，当时印度是唯一一个有RM团队的国家。

我加入了印度的RM团队，花了三个月的时间和他们一起处理印度的资源调配，和每个RM以及业务部门密切合作，和他们的专业人员沟通项目详情。

他们也没有成熟的经验，但是我还是学到了很多东西，团队是如何协作的，有什么流程，在规模扩大的时候可能会面临一些什么样的坑。

现在想想，我之所以坚持了下来，是看到了这家组织对失败的宽容，要想改变，就不可能一帆风顺。

而且当时整个中国区的管理团队也都比较年轻，在没有人指路的情况下，大家是在一起战胜困境，探讨可能的。

我从印度回来后，立即开始组建团队，半年后，每个大的办公室都有了专职的RM，小的办公室也有兼职协调资源的人。在这个过程中，我也有了一些思考，因为工作内容复杂多变，所以很难给从事这份工作的人做严格的职责定义，但这份工作实践起来却非常锻炼人的抗压能力，应变能力，适应性和敏感性。

更为重要的是，这份工作能让人看清专业服务公司是如何运作的。

若干年后，我再次进入业务部门，和一家战略咨询公司合作，在一次吃饭的闲谈中，我理清了他们团队背后的配置逻辑，也帮他们解答了专业服务公司如何配置资源的问题。

那时候想到的是《法华经》里的一个词“功不唐捐”。我们学到的知识，做过的事情，都会在未来的某一天以经验的方式回馈给我们。

现在，Staffing（资源协调）这个团队仍在公司担任着非常重要的运营职责，这个团队也走出来一些很出色的leader（带头人和管理者），想起来是件很欣慰的事情。

我在这个岗位做了三年，直到后来休产假。

3 做不到家庭和工作平衡的话，就做一个无所畏惧的女性

还在做People Lead的时候，有一天，有位女同事找我倾诉，她的孩子那时不满一周岁，她说：

这就是我当时还理解不了的处境。在几年之后我理解了，因为我也成了母亲。

当了母亲之后，就特别关注工作生活平衡的话题，这可能也是绝大多数职场女性回避不了的话题。

《奇葩大会》有一期，女强人刘楠和 5 位男性CEO一起被采访，男性CEO被问到的问题，都是关于用户，关于利润的，到了刘楠，她被问到的问题是，你是如何平衡工作和生活的？

这揭示了当下社会和职场的一个普遍认知，男性只要管好自己就行了，女性则需要平衡事业和家庭。

产假回来，我再一次转型，调到内部IT 部门做项目管理，共有5 个团队，服务全球。

这个转型的决定其实也是考虑了我产后回归，更好的平稳过渡而做出的。这个工作在内容上我已经很熟悉，但实际中仍然需要克服一些问题。

最大的问题就是时差，在一个全球的团队里，很多的会议不是发生在清晨就是发生在晚上，这也就预示着在家里开会是一个常态，而我家的小朋友很小，还是听不进任何道理的年纪。

开会的时候我通常把自己关在屋里，任凭他在外面捶打着门撕心裂肺哭，我也不能分身，但这会极大的影响我的注意力和效率，我觉得私人时间里陪伴不了他，对不起小娃，开会的时候做不到全神贯注，又愧疚于信任我的同事。

生活就是个矛盾的综合体。

第二个问题就是个人发展，因为孩子小，在养育中必然会分心，所以我其实是做了一个放缓自己发展的决定。

这是一个取舍的过程。

Facebook的首席运营官谢丽尔.桑德伯的畅销书《向前一步》里介绍了很多方法，鼓励女性冲破性别障碍，做好工作生活平衡。

有些女性觉得这本书确实给她们带来了改变，但也有一些女性做不到，在兼顾工作和家庭的同时，她们既忙碌又焦虑，因为大部分的女性之所以家庭和事业都美满，是因为自己的另一半或者家里的老人们在为她们负重前行。

也就是说，所谓的平衡，不是自己做出妥协，就是家人做出牺牲。

就连桑德伯自己也在书里提到，她能在职场打拼，没有后顾之忧，是因为她的丈夫分担了很多家庭责任。

这其实是一种方法，或许是最能支持到女性在职场发展的方法了。

前面提到我所在的团队的特殊性，晚上开会的时候如果不是特别晚，七八点钟的会议我大都选择在公司开，这样的话我就可以在五六点钟的时候去健身房跑跑步练练器械，回到公司正好赶上开会，回家的路上我会觉得精神焕发、动力十足，这段时间是我的家里人在承担责任。

但周末的时候，我会全心全意陪伴孩子，陪伴家人。

所以，在家庭工作平衡这件事情上，我是比较幸运的，既放飞了自我，也没有远离家庭，因为我有非常支持我的家里人。

但对于一些女性来讲，可能并不会如此幸运，网络上有很多建议，我比较认可的做法是这样的：

如果真的无法平衡，那就选一个自己最想成为的角色，起码是现阶段最想成为的角色。但是不管你选了哪一个，都意味着你要放弃另一个，不要怕，也不要担心，做一个无所畏惧的女性。

有时想想，我们的人生就像坐标系，横轴已经订好了，区别在于纵轴上如何发挥，十年可以很短，转瞬即逝，十年也可以很长，因为成长永无止境。

最后，18年伊始，用送给自己的话来结束吧：千帆过尽，愿自己仍是那个明眸善睐的女子，永葆一颗少年心！

本文转载自ThoughtWorks公司。
作为「全球最佳女性科技雇主」ThoughtWorks向来不拘泥于常规而致力于打破框架，突破极限，寻求机遇。程序媛的日常在去年也曾经跟ThoughtWorks合作过线下活动 | 全球最佳女性科技雇主 ThoughtWorks 的秘密。

ThoughtWorks 希望验证女性能在技术领域承担一些非常关键的岗位。但是现在行业里并没有许多这样的女性技术人员，所以需要自己培养，所以 ThoughtWorks 开展这些活动和方式来自己培养。这是远大的 ambitious vision。

说起短期目标，就是因为 ThoughtWorks 要求每年校招进来的都是男女比1：1，这很难，只能自己先尽早培养。而个人认知——靠个人，在这一点上，ThoughtWorks 和我们 GirlsWhoCode 是非常相似的。我们都希望让大家认识到女性程序员也是多姿多彩的，不是千篇一律的，不是形象差、目光呆滞的。

想要进一步了解吗？ThoughtWorks校招火热进行中，详情戳“阅读原文”，欢迎大家投简历～推荐人写“大S”据说有惊喜哟！

作者：Harvard NLP group (harvardnlp)

论文：Latent Alignment and Variational Attention

地址：https://arxiv.org/pdf/1807.03756.pdf

代码：https://github.com/harvardnlp/var-attn 

摘要：attention 注意力模型在神经网络中被广泛应用。在已有的工作中，attention 机制一般是决定性的而非随机变量。我们提出了将 attention 建模成隐变量，并应用 VAE 和 policy gradient 训练模型。在不使用 KL annealing 等 trick 的情况下训练，在 IWSLT 14 German-English 上建立了新的 state-of-the-art。

近年来很多文章将 VAE 应用到文本生成上，通过引入隐变量对文本中的一些不确定性（diversity，如文章风格主题、蕴含情感等）进行建模。这样做往往会遇到一个常见的问题—— KL collapsing。这个问题最早在16年时由 Bowman 指出 [1]，其描述的现象是直接训练 VAE 得到的 KL 接近0——这也就意味着近似后验和先验一样，使得隐变量被模型忽略 [5]。Bowman的解决办法 [1] 是使用 KL annealing（KL 项的权重从0开始逐渐增加到1）或者 word dropout（不常用在此略过）。随后，17年 Yang 等人对 KL collapsing 的问题进行了更细致的分析 [2]，并提出降低 decoder 的 contextual capacity 改善这个现象。此外 Zhao 等人提出 bag-of-word loss 去解决这个问题 [3]。18年 Graves 等人也对 KL collapsing 进行了分析 [4]。（我们在过去也介绍过许多解决 KL collapsing 的工作，点此查看）。

在我们的工作中，attention 被建模成隐变量。值得注意的是，我们将 attention 建模成隐变量并不是为了单纯应用 VAE 这个工具，而是因为我们认为将 attention 建模成隐变量可以为 decoder 提供更 clean 的 feature，从而在不增加模型参数的情况下提高模型的表达能力（注意 inference network在测试阶段不被使用因此不计入模型参数）。

以下是一个简单的直觉。下图蓝色部分展示的是传统 attention，下图红色部分展示的我们提出的隐变量 attention。传统的 attention 机制仅能通过之前生成的单词确定当前即将生成单词的 attention，而因为存在多种翻译方式，所以会出现 attend 到和实际翻译的单词并不对应的位置的问题。而在红色部分展示的我们提出的隐变量 attention 中，我们可以通过全部的源文本和目标文本去得到更准确的后验 attention，因此 attention 和实际翻译应该 attend 的源单词对应得更好。并且，这样得到的更好的后验 attention 可以提供给 decoder，从而使 decoder 拿到更 clean 的 feature，藉此可以得到更好的模型。

基于这个直觉，我们将注意力 attention 建模成隐变量。假定 x 是源文本，y 是目标文本，z 是 attention，根据标准的 VAE 方法，我们引入 inference network q(z | x, y)去近似后验，那么 ELBO 可以表达为（为了简单我们考虑目标文本只有一个单词的情况）：

上面不等式的右侧是 ELBO，其中第一项是从 q(z | x, y) 中采样出 attention，使用采样出的 attention 作为 decoder 的输入计算 cross entropy loss，第二项是确保后验分布接近先验分布。这里值得注意的是，我们此处的先验和一般的 VAE 不同，我们的先验是和模型一起学习的。

因为我们的 p(z | x) 和 q(z | x, y) 都是 categorical 分布，所以我们使用 policy gradient 去优化上面的目标函数。由于 decoder 和 encoder 之间的主要信息传输通道是通过 attention，如果忽略了这个隐变量，就会无法得到源文本的信息而得到很大的 penalty。这与之前的许多工作中直接把隐变量加入到每个 decoding step 不同，因为那样即使 decoder 忽略了隐变量，也可以达到很好的模型表现 [5]。因此通过直接优化目标函数这个隐变量也不易被忽略，我们的实验完全验证了这一点。

由于我们的后验 q 能看到全部的 x 和 y，因此后验中采样的 attention 可以比先验 p(z | x)好。比如以下的例子：

这里我们把德语（纵向）翻译成英语（横向）。红色代表先验，即只观测到 x 而不观测到 y 的 p(z | x)，蓝色代表后验，即观测到全部信息的 p(z | x, y)。注意到在第二个单词 actually 处，红色的先验试图 attend 到 nun 后面的逗号“,”，从而试图生成一个 “well, ” 的翻译结果。然而实际的英语翻译中并没有逗号，反而直接是 well actually，由于后验 q(z | x, y) 可以看到实际的翻译，因此蓝色的后验正确 attend 到了 tatsachlich 上。注意到训练目标 ELBO 中我们从 q 中采样 attention 给 decoder，因此通过使用 VAE 的方法，decoder 得到了更准确的 attention 信号，从而可能提高模型的表达能力。

实验上，我们在 IWSLT 14 German-English 上得到了新的 state-of-the-art。其中 KL大约在0.5，cross entropy loss大约在1.26，而且我们人工比较了很多后验和先验也很符合我们的建模直觉。

欢迎尝试我们的代码，项目地址在 https://github.com/harvardnlp/var-attn。我们提供了能复现我们 state-of-the-art 效果的 preprocessing、training、evaluation的command，以及我们报告的模型。

相比过去的大部分工作是从 attention 计算出来的固定维度的 context vector，我们提出了将 attention 建模成隐变量，即在 simplex 上的 attention 本身。由于我们的工作是对 attention 注意力机制的改进，因此理论上可以被应用到一切包含 attention 的 task 中。文章里除了机器翻译外我们也做了个视觉问答系统的实验。我们的具体模型和 inference network 的结构请参见我们的论文和代码。

限于作者的水平，本文中有错误和纰漏在所难免，望读者朋友多多包涵！也欢迎发邮件给我 dengyuntian@seas.harvard.edu 交流。

References 

[1] Bowman et al, "Generating Sentences from a Continuous Space".

[2] Yang et al, "Improved Variational Autoencoders for Text Modeling using Dilated Convolutions".

[3] Zhao et al, "Learning Discourse-level Diversity for Neural Dialog Models using Conditional Variational Autoencoders".

[4] Graves et al, "Associative Compression Networks for Representation Learning".

[5] Zhang et al, "Variational Neural Machine Translation".

更多相关文章阅读

1. 干货 | 你的 KL 散度 vanish 了吗

2. ACL 2017 | VAE for Dialog Response Generation

3. ICLR 2017 | Attention 和 Memory Networks

4. 干货 | Applied Attention-based Models in NLP（一）

5. 干货 | Applied Attention-based Models in NLP（二）
   

今天要分享的论文是一篇 CVPR 2018 Spotlight，A PID Controller Approach for Stochastic Optimization of Deep Networks. 荣幸的是，我们请到了这篇论文的第一作者 Wangpeng An 为大家带来第一角度解读：从想法的萌生，到投稿的坎坷——走近一篇 CVPR 论文的诞生。 

具有近百年历史的“比例-积分-微分”控制方法（简称 PID 控制器）是一种通过控制系统的误差来调整机器的反馈控制方法。它是迄今为止自动控制中应用最为广泛的控制方法。这个算法被改进了将近200年无人撼动，几乎所有自动化的设备都是使用 PID 算法进行控制。那么它是怎么来的呢，请看下图：

这个东西就叫离心机，控制给引擎送多少油，刚开始被用在怀特兄弟造的飞机 [6]。从研究离心机如何供油，控制理论慢慢地被运用到各种各样的机器控制中，并且引导了第三次工业革命：自动化——如何控制机器让其离开人自动的运行（这个特性好像跟人工智能是一样的）。如何控制机器的算法就叫控制理论，而 PID 一直在工业控制里占统治地位，它被广泛的应用在工厂 [1]、无人机 [2] 以及无人车 [3] 中。到目前为止，90%的控制器都是 PID。

大家熟知的大疆无人机也不例外

下面就来说说控制理论和深度学习优化的关系。在控制理论里，“误差”即受控机器的输出与期望值之间的距离。如何根据“误差”让机器做出下一步更新的算法就是控制器。

对于深度学习优化，将模型输出和期望输出的误差来定义为损失函数。损失函数通过执行“误差的反向传播” [1] 得到梯度来影响权重。就像 Hinton 老先生在其发表在 Nature [1] 的文章里那样描述的，梯度是每个权值对总的损失函数贡献，其与损失函数为线性关系。

把深度学习里的”梯度”看成是当前权重与最优权重的“误差”，这样 SGD-Momentum就与 PID 优化器通过”梯度”与“误差”的联系而联系到了一起。如下图，可以看到控制过程与深度学习的优化过程的联系，可以发现控制系统里的反馈、误差、PID控制器与深度学习里的反响传播、梯度、优化器有着很高的相似度。

如果把控制里的误差用梯度替换掉的话，那么深度学习优化器 SGD-Momentum 和反馈控制器 PID 就有如下的关系：

这样 SGD-Momentum 可以等效为 PI 控制器。而在控制理论中，PI 控制有超调的问题，也就是说 SGD-Momentum 有超调问题，这一点其实很容易理解，因为 I（Integral）是历史梯度的积累。也就是说如果历史梯度朝着同一个方向变化的话，那么朝着该方向的变化就会不断地加速，但是如果要改变方向，那么由于历史梯度还是朝着相反的方向变化，就会产生滞后反应或者也叫超调（Overshoot）的问题。

超调也可以简单的描述为在该改变方向的时候还是沿着之前错误的方向继续行进，也就是执着于“过去”。

而 PID 控制算法中的 D 的这一项就专门是用来较小超调这个问题，因为 D 是梯度的变化趋势，其放眼“未来”。下面的 gif 是我见过解释 PID 这三个参数意义最好的一个动画。从中可以看出 PID 控制器中 PID 前的三个超参数如何根据误差从初始值（0）收敛到最优值（1）的一个动画。

根据这个观察我们就顺其自然地提出了 PID 优化器，也就是过去、现在、未来同时存在。过去、现在、未来，究竟哪个比较重要我们不知道，但是我们认为“未来”是必须要有的！

由于我们证明了 SGD-Momentum 其实是 PI 控制器，我们新的算法只在 SGD-Momentum 上加入了梯度的变化这一项。我们也并没有彻底地探索如何更好的设置 P I D这三个参数，为以后的创新也留有广阔空间。：）

为了验证我算法能在真实数据上起作用，我们在2维数据上做了可视化的研究。

优化一个包含 x 和 y 的实验，目标函数以及结果如下：

其中背景的颜色代表f的大小，越红的地方其值越大。黄色的轨迹是 SGD-Momentum的收敛路线，D 前的超参数为 K_d，红色是在不同 K_d 下 PID 优化器的收敛路线。可以从图中看出在同样步长的条件下，K_d 这个超参数可以减小甚至消除超调问题。

然后是在 MNSIT 数据集上的结果:

可以看到 PID 优化器明显地好于 SGD-Momentum。

觉得在控制理论里下面的工作中也可以把其误差用梯度替代掉从而提出新的深度学习优化算法：

1. 现代控制理论。

2. 模糊控制器。

3. 模型预测控制。

下面说说做这个工作是如何产生以及最后投稿被接收的：

其起初就是在折腾 SGD-Momentum 的公式的时候，用了一个高中就会学到的数列求和的技巧化简了一下，发现有一项是历史梯度的求和……在这个过程中不断地把东西往一块凑，不断地丰富实验，丰富理论。

但截稿前其实没有写完论文，投出去之后发现虽然做了两个实验，然而其中一个结果还忘了贴上去，论文中提到的一个图还并不存在。当时心情复杂，很多师兄师姐都告诉我毕竟是第一次投还只写了7页可以原谅，老师建议我再好好改一下准备投 ECCV。

在跑 CIFAR 10 实验的时候发现加入梯度的变化那一项并没有 SGD-Momentum 好，当时心情沮丧觉得弄不好做了这么长时间的 idea 可能就是不 work。

之后就开始了很长一段时间每天起床，出门，实验室坐下打开 Youtube 和 Github 找事情做的过程。有一次在 Youtube 看到刘媛媛的励志演讲，看完充满了力量异常的有动力。联想起自己做的工作，脑中一闪发现其实并没有人限制我是不是要给梯度的变化这一项前面加的那个超参数必须是设定好不可调节的……于是我就开始了漫长的调参之路。

其实现在也觉得如何面对可能不 work 的 idea 是一门艺术，那种被偶然发现，纯天然无污染的 idea 太少， 大部分可能都是人造 idea。只要意志坚强，总能做完投出去。

最后把她说的一句话送给大家：

命里有时终须有，命里无时须强求。努力就有 CVPR！

概括一下，这篇论文（CVPR 2018 Spotlight，A PID Controller Approach for Stochastic Optimization of Deep Networks）介绍了一个简单的优化方法：修改 SGD + Momentum 使模型更快收敛。其 Motivation 主要来自自动化学科的比例积分微分（PID）控制算法。作者证明了 SGD -Momentum 是一个 PI 控制器（缺乏一个D，与 PID 更新相比方程）。通过加入 D 对 SGD-Momentum 进行改进从而实现加速收敛，而 D 就对应梯度的变化。

这篇论文的 Reviewers 们是这么说的：

1. I think the paper makes a very interesting connection between two classical approaches, respectively from the field of feedback control and the field of optimization.

 

2. The link between PID and SGD+Momentum opens the door to further innovations in optimization of deep networks. I wish the ML community would pick this up and go much further.

 

3. I actually believe the authors would do better by performing additional MLP and LSTM experiments, and then submitting this paper to ICLR, NIPS. I don't think CVPR is the right venue and I fear it will not give theauthors the exposure the work deserves.

被多次问过，为什么研究改进 SGD-Momentum 而不是 Adam 呢。因为目前卷积神经网络里最好的模型 VGG、Resnet、DenseNet、Mask-RCNN 等都是由其训练。最近也有人指出 Adam 这种自动化的学习速率方法其实并没有 SGD-Momentum 训练的模型效果好 [2]。简单来说就是 SGD-Momentum 就是一台单反，自己调节一些参数可以达到很好的效果，而 Adam 就像是一台傻瓜相机，虽然大多数时候都行，但追求极致还是得用“单反”。

因为 PID 一直是控制理论中的黑箱，其参数的调节也如炼丹一样的 CNN 至今无人完全参透，所以知乎上也有这样的评论：

PID，CNN，双壁合一，但凡练成者，江湖人送外号：“调参圣手”。

References: 

[1] D. E. Rumelhart, G. E. Hinton,and R. J. Williams, “Learning representations by back-propagating errors.”  Nature, 1986.

[2] The Marginal Value of AdaptiveGradient Methods in Machine Learning- arXiv

[3] Knospe, Carl. "PID control." IEEEControl Systems 26.1 (2006): 30-31.

[4] A. L. Salih, M. Moghavvemi,H. A. F. Mohamed, and K. S. Gaeid, “Modelling and pid controller design for aquadrotor unmanned air vehicle,” International Conference on Automation.

[5] P. Zhao, J. Chen, Y. Song, X.Tao, T. Xu, and T. Mei, “Design of a control system for an autonomous vehiclebased on adaptive-pid,”International Journal of Advanced Robotic Systems.

[6] https://en.wikipedia.org/wiki/Control_theory.  

人类大脑认知和语言功能之间的关联奥秘，一直是研究者们关注的焦点。在本科的脑认知课程上，小S就听到老师说，人类如何处理语言、形成语言，已经是二十一世纪几乎最受关注也最“一筹莫展”的脑认知研究领域。

Computational psycholinguistics has “always been...the thing that computational linguistics stood the greatest chance of providing to humanity” (Kay, 2005).

随着统计语言模型，神经网络语言模型等的出现，脑认知和自然语言处理这两个学科的交叉研究——计算神经科学——也不断涌现出来。曾经的爆款 Science 论文《Human-level concept learning through probabilistic program induction》也属于这个范畴。今天又看到三篇这个领域的研究工作，想分享给大家，包括：

1. Finding Syntax in Human Encephalography with Beam Search. ACL 2018.

2. Navigating with Graph Representations for Fast and Scalable Decoding of Neural Language Models. from Microsoft.

3. Does the brain represent words? An evaluation of brain decoding studies of language understanding. from MIT.

发表在 ACL 2018 上的第一篇工作 [1] 主要关注的是语言模型解码中的语法信息，。比起我们非常熟悉的 LSTM，这篇工作 [1] 使用的基本语言模型是 RNNG，G for Grammers. 由下面的示意图可以看到，RNNG 在生成过程中，不仅生成具体的词，还生成语法结构。

这样的结构非常适合增量过程建模（incremental processing）。可以想到，当利用这样的生成过程做语法建模时主要包含三种语法分析决策（parser action）：是否开始一个新的成分（左括号），是否结束最近的一个成分（右括号），以及是否生成一个具体的词。

上方给出的示意图的左上角就是三个彩色的方块就代表着三种决策动作。然而，经典的 beam search 算法用于这样结合语法信息的语言模型时，会有些不合适。毕竟语法信息和具体的词，不是一个层次上的信息，把它们放在一起去预测得到的概率分布会严重的不均衡。

为此，作者 [1] 使用的是 word-synchronous beam search。其主要思路是在解码时，不断搜索扩展语法结构，直到有足够多的结构都生成了具体的词，然后同步这些词，再开始下一次的结构解码。示意图见下，具体的算法描述请大家参考论文 [1]。

作者 [1] 希望探究 RNNG+word-synchronous beam search 是不是一个合适的语言认知模型（cognitive model of language processing）。为此，他们比较了人脑听到一段语言时的 EEG 信号和语言认知模型计算过程中的复杂度指标（具体请见论文 Section 4）。从下图的部分实验结果示意来看，回归模型还是比较契合的。

这篇工作 [1] 里还有很多有意思的 insight analysis，比如实验结果就发现，LSTM 的回归效果就比较差，说明不适合作为一个语言认知模型使用。而且这篇论文 [1] 给我的最大的冲击还是他们并不是使用 RNNG 直接建模 EEG 数据，而是用 RNNG 中的计算语言复杂度来建模。这可能也是纯自然语言处理和计算语言处理的一个比较大的区别。

第二篇想分享的论文 [2] 则是希望通过借鉴人脑中的语义映射或者说词汇关联，来加速语法模型的解码过程（beam search decoding）。因为过去的认知科学研究多数认为，人脑中的词汇是复杂网络结构，所以当给定一个语境时，人脑能联想到的词汇会锁定在网络中的某一小部分，而不是像 softmax 一样遍历一遍所有词。

基于这样的启发，作者 [2] 提出了基于图的快速解码算法 Fast Graph Decoder (FGD)。算法的过程也很直接，先根据词向量的语义距离构建一个小世界网络来“模拟”人脑中的语言网络。当解码时，将语境编码（隐变量）和图中的结点进行比较，从而找到最相似的结点作为图解码的起点，并启发式地进行图推理。值得一提的是，在小世界网络上的图搜索有比较成熟的快速算法，这也是这篇论文的算法能大幅提速传统 beam search 的主要原因。算法的示意图如下。

这样简单的思路在实验中效果还不错。在不损失准确度的情况下，其解码计算速度大幅提高。这是因为经典 beam search 主要受限于 softmax 计算，其复杂度是 O( D * |V| )，而这篇中的快速图解码 FGD 则是 O( D * log|V| )。

今天想分享的最后一篇论文 [3] 则有些与众不同。其更多地是从脑认知的角度来探讨计算语言相关研究的价值。如上面提到过的，计算语言学中经常把脑认知的一些数据（EEG, fMRI等）和神经网络处理的文本数据联系起来，希望从中找到特征的相关性甚至一致性。这样的研究框架可以用下面这样的示意图来展示：

如果将 fMRI 数据转换后的特征和经过语言模型建模后 m_k 的文本特征分别称为 r(x_i, s_j) 和 r(x_i, m_k), 那么这两者的差距越小，说明这个模型拟合某个被试（s_j）拟合得越好。为此，作者比较了下面多种模型：

可以看到，这些模型主要是针对不同自然语言处理相关的任务提出的。从某种程度来说，作者希望看到的是，针对不同任务的语言模型和人类阅读某一句话时的反应是否一致。换句话说，人类阅读某一句话是，具体在进行着哪些语言处理（不同的语言任务）。

实验结果来看，大部分模型学到的特征都可以一定程度上契合人脑活动数据中提取的特征。而且，表现最好的模型是 GloVe、SkipThought 等前四个模型，这些模型也可以认为是最“包罗万象”的模型。因为它们主要建模的是对下一个词的预测，并不涉及一个具体的自然语言任务（task-transferrable）。

然而，这样的结果只能说明 GloVe 等模型学到了一些和人脑活动相关的特征，却并不能解释人脑在处理语言到底做了哪些任务。如果对这方面的研究感兴趣，推荐大家看一篇综述：John Hale. 2017. Models of human sentence comprehension in computational psycholinguistics. In Mark Aronoff, editor, Oxford Research Encyclopedia of Linguistics. Oxford University Press.

诚然，这些工作可能很多不够研究，只是借鉴一些思路灵感。就像 CNN 的设计与视觉细胞，神经网络的设计与大脑网络，这些关联可能都不是真实准确的。但是，人工智能并不一定是复原或者说模仿人类的智能。研究工作带来的灵感可能是更宝贵的。在这方面，大家又怎么看呢？

更多相关阅读：

干货 | 限定和指导 Seq2Seq 模型的生成结果（一）

干货 | 限定和指导 Seq2Seq 模型的生成结果（二）

今天想分享几篇比较新的文本改写（Rewrite）和文本风格迁移（Style Transfer）的工作。会涵盖的论文有：

1. Unpaired Sentiment-to-Sentiment Translation: A Cycled Reinforcement Learning Approach. ACL 2018.

2. Delete, Retrieve, Generate: A Simple Approach to Sentiment and Style Transfer. NAACL 2018.

3. Generating Sentences by Editing Prototypes. TACL 2018.

第一篇工作 [1] 从题目来看就很吸引人，unpaired 对应 cycle，很自然联想到 reconstruction。而 reinforcement learning 主要是为了解决训练过程中离散文本不可求导的问题。

虽然过去也有一些 text style transfer 的问题，但是因为缺少对于非 stylish 或者说“普通文本”的语义信息的显式保留，导致很容易出现下面这种情况：当把“The food is delicious”这句话从正向情感迁移到负向情感时，会得到“What a bad movie”——虽然情感被正确转化了，但是内容的主体也跟着变了。这显然是不好的。

为了解决这个问题，这篇工作 [1] 使用了两个 module，一个 neutralization module 用于提取 non-emotional content，另一个 emotionalization module 用于生成或者说融入 sentiment words。

如上图所示，下面的 neutralization module 其实是通过直接删除 emotional words 来实现 non-emotional content 的保留。这一步中，作者 [1] 通过使用 self-attention 得到的注意力权重作为分类器特征，从而自动找出 emotional words。从实验结果来看，这个方法的分类准确率也可以达到 90% 左右（不过 sentiment classification 本身也不是很难，稍微复杂一点的模型都可以达到95%甚至更高）。接下来就是 emotionalization module，可以看到，一个 encoder 和两个 decoder。两个 decoder 对应 sentiment classification 的两个类别（positive or negative），并且分别用于训练时的 reconstruction 和测试时的 generation（emotionalization）。

由于文本的离散性，作者采用了 RL 的方法来训练这两个 module。RL 成功与否严重依赖于奖励函数的设计。在这篇论文中 [1]，作者提出了两个 reward：sentiment confidence 和 BLEU。尤其是 BLEU，主要是针对作者想解决的问题——non-emotional content perserving。最终的奖励函数如下：

从实验结果来看，过去的工作主要都只考虑了 style transfer 的成功与否（sentiment accuracy），而没有显性地考虑 content perserving，所以确实在 BLEU 指标下表现很差。

但是也可以看到，这篇工作提出的方法 [1] 在大幅提高 BLEU 的情况下，ACC 也有一定损失。可以从这个结果看到，想要非常自然地融入 sentiment words 并且不破坏语义和语法，是很困难的事情。看一些直观的转换结果：

要分享的第二篇论文 [2] 几乎也是一样的思路。但是在具体实现上要更直接一点。第二篇论文 [2] 在进行 style transfer 的时候，基于的是这样的假设：文本的一些属性（attribute），比如文本传达出来的情感信息等，可以体现在文本中的某些特定词汇上。通过改变这些词汇，就可能直接改变整句文本的性质属性（value）。

由上面的示意图可以看出，作者将那些具有指示功能的特定词称为 attribute marker，通过（主要）改变这些 marker，进行 attribute transfer。文章进一步提出了4种具体的方法来改变 marker。

这4种具体的方式也由上图很清晰地展示了出来。值得一提的是 DeleteOnly 和 DeleteAndRetrieve。在删除了具体的 marker 后，作者提出再去根据这个没有情感特定性的句子去从数据中检索出一句最相似但是 attribute 的数值相反（target attribute）的话。检索出的这句话主要用于提取新的 target attribute marker，作为“重写” RNN 的输入之一。

很明显，这样的工作可能有一定局限性，但在一些简化场景中，却是更可控的。其实验结果也印证了这点 [2]。

上面两篇工作都是进行风格转换，而在进行文本改写的时候，还有一类常见的场景就是进行非情感类改写，比如扩写句子，改写语法错误等。在进行这样的工作时，其实也可以采用类似的思路。先找到一个“中立”的、“简单”的“模板”，再在这个基础上加入希望增加的信息，如情感、一些复杂修饰词等等。今天要分享的最后一篇工作 [3] 就是这样一个思路。

从上面的示意图中可以看到，修改后的句子增加了“modiocre”和“ridiculous”这两个形容词，变得更复杂了。而重中之重就是在学习 edit vector 上。可以看到，此时的 edit vector 不再是 sentiment words，而是一种 semantic operation。如果让 edit vector 作为一种隐变量，也遵循某种分布，那么同样的 edit vector 应该符合同一种 edit operation，并且对于句子的改写是一种微小的可控的操作。

基于这样的假设和期望，作者用 VAE 来建模 z，目标函数如下：

关键就是如何保证学到好的 p 和 q。这篇论文使用的方式和过去很多 VAE 的文本应用都不太一样，有兴趣的同学请一定去查阅原文。值得一提的是，这篇工作中的 edit vector z 是直接拼接在给 decoder 的每一个时刻的输入上的，并没有额外的 gate 或者 transform。这也是和上面两篇工作的区别之一。

最后从结果来看，作者提出的方法确实能更自然地改写句子。这点从 case studies 还有句子的平滑度方面可以看出：

更多相关阅读：

干货 | 限定和指导 Seq2Seq 模型的生成结果（一）

干货 | 限定和指导 Seq2Seq 模型的生成结果（二）

干货 | 你的 KL 散度 vanish 了吗？

ACL 2017 | VAE in Dialog Response Generation

注意力机制想必大家都已经很熟悉了。虽然注意力机制最初是被用在机器翻译上，但随后其在各种任务上都占有了一席之地，比如 multi-modal 相关的 image caption generation, video description，以及现在大热的机器阅读理解（machine reading comprehension）。

然而，注意力机制也有天然的弱点。最初提出的注意力机制，主要是利用当前状态解码器的状态 h_t 和过去多个时刻的 h_{t-i} 比较的结果，来计算其对应的权重——最终将这些信息和当前状态的信息一起综合利用，去判断当前时刻的输出。这样的机制归根结底还是将信息整合到一个向量中，不可避免会造成信息损失和弥散。

针对这个问题，研究者们也提出了不少解决办法。今天就想和大家分享其中几篇代表作。今天会涵盖的论文有：

1. Frustratingly Short Attention Spans in Neural Language Modeling. ICLR 2017.

2. Recurrent Attention Network on Memory for Aspect Sentiment Analysis. EMNLP 2017.

3. Dialog Generation Using Multi-turn Reasoning Neural Networks. NAACL 2018.

4. Natural Answer Generation with Heterogeneous Memory. NAACL 2018.

首先要介绍的工作 [1] 可以说是第一篇专注分析 NLM+attention 的工作。作者首先将注意力机制拆分为三部分：（1）keys: 对比当前时刻的状态和过去时刻的状态；（2）values: 比较结果用于建模上下文；（3）prediction: 综合当前时刻和上下文的信息来进行预测。然而作者认为，现有的方式并不能很好地实现这三件事。所以作者 [1] 提出拆分解码器的状态。

对比上图中的 (a) 和 (b)，可以看到，作者将解码器状态 h_i 拆分为 k_i 和 v_i，并用 k_i 比较每一个时刻的解码器状态，用得到的 v_i 建模上下文和预测下一个词。这就是作者提出的第一个改进模型，key-value attention model。

显然，这个模型中，v_i 仍然一人分饰两角。所以作者 [1] 进一步提出了第二个改进模型，key-value-predict attention model：将解码器状态拆分为三个向量，其中新引入的 p_i 用于做预测。这个模型示意图请参考下方左侧 (c)。

在实验中，作者提出的两个改进模型在大部分数字指标下的表现，都超过了传统注意力机制模型，并且符合预期地：key-value-predict attention > key-value attention > traditional attention。然而，从可视化的结果来看，这些模型的差异却并没有那么大：

作者发现，这些基于注意力机制的模型的注意力基本都局限在最近的5个状态的窗口里，也就是题目中所谓的 short span。这也直接导致了，当作者用基于 N-gram 的 RNN 代替基于注意力机制的 RNN 时，也取得了非常惊人的表现。

作者也通过改变注意力窗口大小，再次印证了，注意力机制的局限性。当窗口增大到一定程度，也就是注意力范围扩大到一定程度后，实验结果并不会继续提高了。换句话说，注意力机制对于捕捉 long-term 范围内的信息的帮助很小。实验结果可以见：

注意力机制的不足在某些任务上会显得尤为严重，尤其是那些对于句子的细粒度语义需要仔细把握的任务。而 Aspect Sentiment Analysis，也叫 Fine-grained Sentiment Analysis， 就是这样一个代表性任务。

Aspect Sentiment Analysis 的任务是真根据某一个 product/item 的某一个 aspect 来进行情感分类（negative，neural，positive）。常见的例子是电子产品，比如手机。关于手机的一个商品评价可能是从手机的多个方面来撰写的：照相效果很不错，但是电池使用时间较短。显然，这样的任务对于建模上下文语义（尤其是一些复杂句型的语义）的要求非常高。而仅仅依靠简单的注意力机制，或者说单一的注意力机制，就很难做到这点。举一个例子来说，"Except Patrick, all other actors don't play well" 这样的句子，就需要综合“except”和“don't play well”这两个信息，从而得出针对“Patrick”的情感是正向的。

为了具有更复杂的综合信息的能力，今天要分享的第二篇论文 [2] 首先将解码器状态拆分和整合成特殊的记忆单元（memory），然后提出了一种综合多种注意力机制的非线性方法。

由上面的模型图可以看到，LSTM 的状态被分解成了 memory cell，并且进一步整合成了 location weighted memory（左上角）。这是因为，对于 Aspect Sentiment Analysis 来说，一句话中可能有多个 aspect。而代表 aspect 的 target word 在一句话中的位置信息有助于建模 target-based context。换句话说，memory 对于每一个 target 是一样的；而 location weighted memory 对于每一个 target 就不一样了。在这篇论文 [2] 中， location weighting 的计算是启发式的（具体见论文公式7）：越靠近 target 的 sentiment words 的权重或者说影响力越大。

有了这些基础后，就到了这篇论文 [2] 的重头戏，recurrent (multiple) attention on memory。从名字来看就知道，首先 multiple attentions 用于抽取一句话中可能存在的多个片段的有用信息；而 recurrent 用于整合这些信息。更具体地，作者用 i_t 来代表每一个时刻从 memory 中提取到的（attended）有用信息，而每一次整合的结果存储在 e_t 中，不仅影响下一个时刻的 e_{t+1} 也影响着下一个时刻的 i_t。

这样的注意力机制不仅弥补了单次单个的注意力机制的不足，还增加了非线性带来的高层语义的捕捉（只是希望）。在实验结果上也有一定的印证：

上面这两篇的任务中，主要还都是只有单源头的信息。接下来要分享的一篇工作 [3] 改进的是对话系统中的注意力机制。因为对话数据一般是两个说话者的，所以信息是双源头的，这也为注意力机制带来了新的困难。

和上一篇工作比较相似的地方在于，这篇工作 [3] 也是将各种上下文信息拆分到多个记忆单元（memory）中去。只不过这一次，因为是对话的上下文，或者说语境信息，所以信息的种类比较多。具体地，作者将对话双方的对话历史存在了不同的记忆单元，并且将每个人的对话历史又进一步拆分成了两个粒度的记忆——句子级别的，对话级别的（有时候也会叫 session-level，或者说 conversation-level）。与此同时，因为当前最邻近的一句输入（query）是最重要的，作者提出针对这个特殊 query 建立独立的记忆单元。

从上图可以看到，共有四大种（四大列）记忆单元，Mh, Mc, Mq, Mr。其中 Mh 是句子级别的记忆单元，Mc 是对话级别的，Mq 和 Mr 是针对 query 的（对话双方交替建模）。有了这四大种记忆单元，作者分别（separately）对它们使用了注意力机制（multiple attentions），然后将四个 attention vectors 拼接在一起，用于最终的预测。作者将这种模型称为 MULTI。

基于 MULTI，作者进一步提出了 multi-turn attention reasoning。其主要启发自机器阅读理解中的 multi-hop reasoning。关于这部分的细节请大家查阅原始论文 [3]。

今天最后想分享的论文 [4] 也是希望整合多步注意力机制的结果，但是用了一种比较新颖的、和 multi-hop 不同的，整合方法。multi-hop attention 的方法主要是对于同一个、单一的 context vector（可以通过各种方式得到），多次使用注意力机制（multi-turn）。而这篇工作 [4] 则是，对于多个 memory cell 多次使用注意力机制，从而最终得到针对 memory 的经过注意力整合后的 context vector。也就是说，这次的 LSTM 隐状态的拆分，首先表示在数据语言中隐藏的普通语义和外部知识库的拆分；其次针对外部知识库的隐状态，又使用了注意力机制进行知识整合。这两大类的隐状态最终拼接组合成解码器的状态，进行预测。有一些绕，还是请大家看示意图：

以上就是今天想分享的内容。从今天的内容可以发现，过分依赖注意力机制是很危险的。注意力机制的使用最好配合着特殊的信息拆分和表达。如果说曾经一时无两的神经网络大法使得大家都将各种信息一股脑丢进去而等待结果，那么现在越来越多的研究反而开始将信息重新拆分出来，各司其职也许效果更好。

相关文章推荐阅读：

1. 干货 | Applied Attention-based Models in NLP（一）

2. 干货 | Applied Attention-based Models in NLP（二）

3. ICLR 2017 | Attention 和 Memory Networks

4. 干货 | NIPS 2015 Reasoning, Attention, Memory Workshop

5. 干货 | 关于 Attention in Cognitive NeuroScience 你需要知道的7件事
   

今天继续关于 Lexically Contrained Decoding 的一些工作。上半部分的内容请点此查看。会涉及的论文有：

1. Fast Lexically Constrained Decoding with Dynamic Beam Allocation for Neural Machine Translation. NAACL 2018.

2. Sequence to Backward and Forward Sequences: A Content-Introducing Approach to Generative Short-Text Conversation. COLING 2016.

3. Towards Implicit Content-Introducing for Generative Short-Text Conversation Systems. EMNLP 2017.

4. Neural Response Generation with Dynamic Vocabularies. AAAI 2018.

5. Globally Coherent Text Generation with Neural Checklist Models. EMNLP 2016.

6. Learning symmetric collaborative dialogue agents with dynamic knowledge graph embeddings. ACL 2017.

7. Dynamic Entity Representations in Neural Language Models. EMNLP 2017.

8. Delete, Retrieve, Generate: A Simple Approach to Sentiment and Style Transfer. NAACL 2018.

9. Retrieve, Rerank and Rewrite: Soft Template Based Neural Summarization. ACL 2018.

昨天大部分论文是预测一个主题关键词，来指导和限定回复。很多时候，这样的关键词也可以从上下文中直接抽取。有一类代表词就是实体词，entity。

关于 entity 的研究在近三四年的时间里获得了许多关注。entity 不仅是知识库的重要组成部分，也是理解很多特定体裁的文本的关键，比如小说和新闻中的各种人物关系。同时，entity 也在特定领域对话中扮演着重要角色。

今天要分享的第一篇工作 [5] 则集中在一类更特别的文本生成——菜谱生成。菜谱生成的研究和 video description 还有 script knowledge 都有关系。而其最大特点也是，在一份菜谱中覆盖着多个 entity，还有对于这些 entity 的操作。也因此，这篇工作 [5] 设计了非常显式的记忆机制，专门去建模 entity。

其主要思想 [5] 可以由上述示意图来表示。给定一个菜谱标题（菜名），和一系列 entity 也就是菜谱的“原材料”，这篇工作 [5] 使用序列模型逐步生成菜谱中的每一个 token。在每一个生成时刻，预测是否该生成一个 entity。如果是，则从原材料列表（agenda）中计算出概率最高的那个，作为此刻的输入。

到此为止，这个思想还是类似于 CopyNet 或者说 pointer network 的。但是这篇工作 [5] 因为针对菜谱生成，将其进一步细化了。对于菜谱来说，有些 entity 被生成后，还会被再次提及。所以这篇工作 [5] 将每一时刻的门的判断，由两种选项，扩展成三种选项——（1）普通 GRU 生成，也就是非 entity 限定；（2）生成一个新的，还没被提过的 entity；（3）生成一个旧的，已经被提过的 entity。自然而然地，一个新的 entity 一旦被生成，就会变成“旧”的 entity，也就需要记录这种“变化”——由此就有了 checklist 的思想。这篇文章 [5] 也因此将模型命名为 checklist model。

上面的 checklist model [5] 的适用范围不止是菜谱生成。如果把 agenda 中存储的 entity 从菜谱原材料变成一些 slot，就可以进行特定领域对话的生成。其根本思想是追踪、记录和更新某些特定的某些实体/信息——即用特殊机制建模特定信息。

从这个角度来说，曾经我们详细介绍过的另一篇工作 [6]，也可以被划分到这里来。

在这篇工作 [6] 中，对话中涉及的 item（朋友列表）是被追踪和更新的对象。这些对象是图中的结点，作者 [6] 希望获得每个结点的表达（vector representation for each node），也就是 Graph embedding。每当新的对话信息被加入，就需要更新这个对话信息中涉及到的相关结点的表达。比如上图中，当出现了“anyone went to Columbia”的时候，首先相关的结点肯定是 columbia。但和 columbia 相关的别的结点，jessica 和 josh 也应该被更新。关于这篇论文的具体解读可以点此查看。

上面这篇论文 [6] 的核心思想就是利用动态表达（Dynamic Representation）来建模核心信息（item）。这类思想也在过去几年的关于 general entity 建模中被广泛使用。这方面的一个代表性工作就是由 [7] 提出的 EntityNLM，entity neural language model。

可以看到，作者并不局限在某一个特定场景下的工作，而是使用 language model 建模含有大量 entity 的文本。换句话说，作者的工作使用的是生成模型，而且是含有隐变量的条件生成模型。

由上图看到，R，E，L 都是要学习的变量。这些变量主要用于辅助预测当下时刻要生成的是否是一个 entity。接下来就是如何去学习这些 entity 的表达。可以想到，entity 的表达受 context 和这些变量影响下的其他 entity 的影响。作者 [7] 也因此使用了 dynamic representation。并且，同上面两篇论文一样，每一词预测出一个 entity 后，这些 dynamic representation 也要更新。关于这两部分的细节公式，请大家查阅原始论文 [7]。

限定和指导 Seq2Seq 模型生成结果的另一个重要应用是风格迁移（Domain Adaptation），其潜在的场景就是领域迁移。最早的基于神经网络风格迁移多数是先预训练一个模型，再在新领域的数据上 fine-tuning。这样的过程虽然简单粗暴，但效果往往不尽如人意。尤其是在由离散数据组成的文本迁移上，由于很难通过连续改变一个像素点的数值来训练，导致训练结果更加不可控。

这篇工作 [8] 则给出了一个新的可行思路。文本的一些属性（attribute），比如文本传达出来的情感信息等，可以体现在文本中的某些特定词汇上。通过改变这些词汇，就可能直接改变整句文本的性质属性（value）。

上面的示意图给出了这篇工作 [8] 的思路。作者将那些具有指示功能的特定词称为 attribute marker，通过（主要）改变这些 marker，进行 attribute transfer。文章进一步提出了4种具体的方法来改变 marker。

这4种具体的方式也由上图很清晰地展示了出来。值得一提的是 DeleteOnly 和 DeleteAndRetrieve。在删除了具体的 marker 后，作者提出再去根据这个没有情感特定性的句子去从数据中检索出一句最相似但是 attribute 的数值相反（target attribute）的话。检索出的这句话主要用于提取新的 target attribute marker，作为“重写” RNN 的输入之一。

很明显，这样的工作可能有一定局限性，但在一些简化场景中，却是更可控的。其实验结果也印证了这点 [8]。

最后来看的这篇论文 [9] 有着异曲同工的思想——也是将 Retrieval 和 Generation 结合在一起——却是用在自动摘要（Summarization）的任务上。自动文摘的研究可以大致分为模板式（template），抽取式（extractive）和生成式（abstractive）。三者各有利弊。这篇论文 [9] 也算是尝试将模板式和生成式结合起来的一种新思路。思想虽然简单，效果依然出乎意料地好。

这篇工作 [9] 的思路如上示意图。给定一句话（first sentence in the news），先去检索出一些相似 news，将它们的摘要（headline）作为候选 summary candidates。然后遵照常用方式进行 rerank 找出最合适的那一句 headline 作为“soft template”。这个 soft template 结合原始的输入，一起传给改写 RNN，生成最终的摘要。

对比 [8] 和 [9]，这两篇工作都通过 retrieve 的方式从数据库中找了最相似的数据来作为“soft template”。可以猜想，这一步也可以认为是改写出更自然的、更流畅的句子的关键。

这次的两篇总结提到的论文远远覆盖不了 Lexically Constrained Decoding 的全部研究。从更广泛的角度来讲，大家非常熟悉的 CopyNet 或者说 pointer network、placeholder approach 都可以归为这个范畴。相关文章推荐大家阅读：

1. 干货 | 限定和指导 Seq2Seq 模型的生成结果（一）

2. ACL 2017 | 别再对抗了，通过对话合作找出共同的好朋友吧！

3. ACL 2016 | CopyNet 和 Pointer Softmax

4. 干货 | Pointer Network 与 CopyNet 之上有哪些新颖任务

Seq2Seq 模型被广泛应用在 NLP 的任务中，包括最被人熟知的机器翻译（Neural Machine Translation，NMT）和越来越火的对话系统（Dialog）。今天我们主要关注 Seq2Seq 模型应用到序列生成的问题。

序列生成的过程，就是解码器解码的过程。在过去几年的发展中，研究者们逐渐开始关注使用一些先验知识来辅助解码过程，如要求解码出来的序列必须包含某个词汇。这样的研究可以广泛划为“Lexically Contrained Decoding”。

Lexically Contrained Decoding 可以认为是启发自基于统计的 phrase-based MT，但随后其思想被转化应用到许多相似任务中。在一些任务中，含有指定词汇的要求被放宽到了由指定词汇指导（implicitly guided）。本文会涵盖的相关论文，覆盖了 NMT, Dialog Response Generation, Style Transfer 和 Summarization 等。这些论文是：

1. Fast Lexically Constrained Decoding with Dynamic Beam Allocation for Neural Machine Translation. NAACL 2018.

2. Sequence to Backward and Forward Sequences: A Content-Introducing Approach to Generative Short-Text Conversation. COLING 2016.

3. Towards Implicit Content-Introducing for Generative Short-Text Conversation Systems. EMNLP 2017.

4. Neural Response Generation with Dynamic Vocabularies. AAAI 2018.

5. Globally Coherent Text Generation with Neural Checklist Models. EMNLP 2016.

6. Delete, Retrieve, Generate: A Simple Approach to Sentiment and Style Transfer. ACL 2018.

7. Retrieve, Rerank and Rewrite: Soft Template Based Neural Summarization. ACL 2018.

在 NAACL 2018 上，相关学者 [1] 提出了 O(1) 复杂度的 lexically constrained decoding 算法，使得 batch decoding 等技巧也可以同时使用，大大提高了解码效率。[1] 的方法中，首先也保留了像常规 k-size beam search 一样的需要维护的一个 k*|V| 的 scores 矩阵去记录每一时刻的扩展当前 hypothesis 的词汇生成概率。也就是下图的中间部分。如果按照正常的 k-size beam search，下一个时刻保留的 hypothesis 就会是 scores 矩阵中的 top-k 的词了（也就是下图中打★的那些词）。但是，这样的算法无法保证解码到最后，含有要求的词汇，也就是不满足 Lexically Constrained Decoding。

为此，[1] 的工作提出将 beam 按照满足限定词汇的个数的多少来分组。上图中最左侧的不同形状的符号，就表示一个限定词汇（constraint），而空心则表示还没被满足，实心则表示已经生成过。这些词汇也可以中间的 scores 矩阵最下方找到。基于这样的分组，[1] 提出每一个解码时刻，除了要保留 top-k 以外，还要保留那些还没生成的但有很高概率的词汇去加入到下一个时刻的 hypothesis 中去。这些词也就是上图中的加了→的。又由于，本身有一个 beam bank 是记录已经满足了全部限定词汇的，可以认为这类 hypothesis 是已经 partically-completed 的。对此，[1] 提出保留的第三类 item 就是 single-best token，也就是图中◇的。

有了以上三类 candidate items（★，→和◇），就剩下如何分配这些 item 到相应的 beam bank 了。这篇文章 [1] 提出了比较 ad-hoc 的办法去动态分配这些 item。因为整体只维护着一个 k-size beam，最终的算法效率还是 O(Nk)，其中 N 是解码的句子长度，k 是 beam size。

因为这篇论文[1] 主要研究的是不限定个数的、不限定位置的 target-side lexically constrained decoding，可以看到其适用范围是非常广泛的。一个比较直观的展示结果的方式就是去看看解码出来的句子，是否能找到比较自然的、合理的囊括限定词汇的位置，从而不破坏整体句子的可读性。以下是作者的一些实验案例：

这个展示结果也可以从侧面证明，BLEU scores 的提高并不仅仅是因为涵盖了限定词汇，而是正确运用、放置了这些词汇。

在 NMT 中使用限定词汇可以帮助一些初级语言学习者。word-by-word 的翻译虽然有时候比较生硬呆板，但是对于语言学习者来说比较容易在翻译结果中学到新的词汇。

接下来要介绍的几篇论文是要指导和限定对话回复生成的结果。因为对话中的你来我往的一对聊天（utterance pair）的语义关联不像 NMT 翻译任务中的那样显著和紧密，直接使用经典 Seq2Seq 模型常常会学出过于普适的万能回复（generic response）。缓解这个问题的办法有很多，其中一个办法是引导模型生成一些特定主题的词汇。

在这个方向上，先来看 COLING 2016 的一篇工作 [2]。[2] 的工作提出的 Seq2BF 模型在生成回复时，采用逆向和正向结合的生成方式去引入指定词汇。作者希望指定的词汇是对于某一句最相关的，而不是最常见的。所以在这一步，他们 [2] 用 PMI 相关指标来预测出某一句话的指定词汇。随后，为了让这个指定词汇能出现在回复中的“任意”位置（不仅仅是在开头），作者将生成过程分解成了两个子过程，从而提出了下面的模型：

上面的工作有一个比较明显的问题就是，他们要求生成的回复必须包含这个预测出来的指定词汇。首先这是一个过于强的假设，其次，当预测的词汇不是很相关时，会非常严重的影响生成的回复质量。

为了解决这个问题，[3] 提出了 implicitly content-introducing 的方法。一提到 implicit，比较容易想到的办法就是利用 gate mechanism。[3] 的工作基于 gate，提出了 hierarchical gated fusion unit (HGFU) ，让预测出来的关键词能指导回复的生成，而不是限定。具体地，[3] 提出 fusion 需要两步，local information initialization 和 global information inception。local 的部分就是用于初始化解码状态，而 global 的部分则是重中之重。

上图就是 [3] 提出的用于 global 的 HGFU。其创新点在于引入了一个额外的 cue word GRU，用于独立地捕捉指导词汇的信息，而不至于让 cue word information 弥散在 decoder 的状态中。最后，一个 high-level 的 fusion unit 用于整合两个底层 GRU 的信息，从而更综合地生成回复。如果把 fusion unit 中的 gate 成为 k，k 的开关就决定了信息到底是来自于两个底层 GRU 中的哪一个。

虽然看起来方法比较简单，但效果还是不错的。可以先来看看 k 的可视化：

再来看看更多的生成回复。从这些回复中可以看到，有些回复是包含了预测的词汇的，有些回复则没有显性包含。这说明 [3] 提出的方法确实可以做到 implicitly content-introducing。

下面要介绍的这篇工作有一点点不同。在限定词汇方面，之前的工作都是找到一个或多个特定的词汇，强加给解码器。而这篇工作 [4] 则从另一个角度来帮忙解码器生成更好的回复——从解码词表中，动态剔除完全不相关的词汇，让解码器不再受无关词汇的扰乱，同时加快解码过程。一图胜千言：

这样的方法最直观的效果就是解码的搜索空间小了，所以先来看看效率提升：

再来看一些生成的回复：

上图中的 keyword 就是动态词表构建过程中根据当前输入来找到的语义相关的词。图中给出的是概率最高的三个 keyword。这些 keyword 也可以认为是一种大范围的指定词汇。

由于篇幅限制，剩下三篇工作留待明天分享。剩下三篇工作中，会提到一类非常重要的限定词汇：entity。希望大家多多支持！