用来构建容错系统的开源工具

鉴 GPT-3 的迭代经验，李志飞认为开展中文 GPT-3 模型训练比较合理的路径是：“从中小规模的模型入手，开展研究及实验，达到一定效果后再推广到大模型上进行验证”。

至于人力方面的配置，他表示 GPT 是一个非常综合的大系统工程，涉及到学术、工程、商业等团队之间的大规模协同。一般需要搭建几十人的团队，其中包括科学家、工程师、项目经理等角色。
 

随着数据量和模型规模的增大，GPT 逐渐舍弃了用少数标注语料精调这一步，完全基于预训练得出的参数，去做下游任务，精确度依然有一定保证。

GPT 所需算力也越来越夸张，初代 GPT 在 8 个 GPU 上训练一个月就行，而 GPT-2 需要在 256 个 Google Cloud TPU v3 上训练（256 美元每小时），训练时长未知。到 GPT-3，预估训练一个模型的费用超过 460 万美元。

相应地，参与到 GPT 论文的作者从初代的 4 位，增加到第三代的 31 位。并且，31 位作者分工明确，有人负责训练模型，有人负责收集和过滤数据，有人负责实施具体的自然语言任务，有人负责开发更快的 GPU 内核。
 

如何打造中文版 GPT-3？

那么，如果要打造一个中文版的 GPT-3，该怎么操作？

“与英文相比，中文版 GPT-3 的诞生将经历一个从零到一的过程，可以借鉴英文 GPT-3 技术迭代的相关经验。”李志飞对品玩表示。GPT-3 的技术迭代之路，是一个不断增大训练数据量和模型参数规模的过程。

本质上，GPT-3 是一个大规模预训练 NLP（自然语言处理） 模型。大规模预训练是指，先用大量没有标注的语料做无监督学习，得到一套模型参数，然后再用少量标注语料精调，最后应用于具体的下游 NLP 任务。这种模式已经诞生了不少成功的 NLP 模型，如 Google 2018 年推出的 Bert，但其通用性上依然不足。直到 GPT-3 推出，让这类预训练模型的通用性上了一个台阶。

从 GPT 第一代到 GPT-3，其模型层面一直都是基于 Transformer（一种领先的提取语义特征方法）做预训练，没有什么改变，但训练数据量和模型规模十倍、千倍地增长。

2018 年 6 月发布的 GPT 第一代，预训练数据量仅为 5GB。GPT-2 增长为 40GB，GPT-3 更是猛增到 45TB（等于 45000GB）。而模型规模方面，从 GPT 第一代的 1.17 亿参数量，指数增长为 1750 亿。

 

GPT-3 是用英文语料做预训练的，主要应用于英文相关场景，而中文业界和学术界已经出现了期待中文版 GPT-3 的声音。

“GPT-3 与出门问问的技术基础紧密相关。虽然现阶段 GPT 模型还并非完美，但它是目前我们能看到，通往更加通用的语言智能的重要路径之一。”从事中文语音交互的 AI 公司出门问问创始人兼 CEO 李志飞告诉品玩。

出门问问一直对更加通用的语言智能很感兴趣。团队正深入理解 GPT-3 的相关论文，推进相关实验，尝试提升训练效率等工作。

 

雨中园区

建议如果你不是像我一样转行，就不要去做外包了，如果你是致力于终身从事这行，也不要去做外包了，外包的薪资是有天花板瓶颈的。

我目前接触到的薪资最高的外包同事是 2w，按照级别来说是资深，还总是担心着被释放，在技术层面，虽然集团的文化价值观一直是创新，强调金融加科技，但终究是传统金融企业转型，老项目过多，虽然从外面引进很多大佬，但是改革落地终究是需要过程，所以真的很难去深度应用市面上的技术，大多数只是用了层皮，如果你是希望来平安锤炼技术，可能不是很好的选择，但是你带着经验与技术而来，或许是个机会。

当然如果是外包的话，适合新人过渡，就像此前带我入门的经理所说，这里不缺项目，你可以很快入门与成长，但终究不适合长期的职业规划，一般半年到一年，就建议去外面互联网公司。

我虽然转内了，但因为这段经历，也还是只能关注 Github 上的几个头部项目练练手，跟着 Guide 大佬补强基础，我没法评定自己过得好不好，因为时至今日，我还是害怕面试，这一步我一直未曾克服，可能就像朋友所说，还是面试太少，一路走来好几年，但是面试次数屈指可数。但是每个人都有自己的路，只要你做好手头的事，身边有爱的人，外包不外包，又有什么关系呢!

（编辑：平顶山站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!