动态生成二维码的开源优秀JS库

记账，是大家很熟悉的一件事。尤其现在，出门都不用带现金，你有多少钱，就等同于你在银行帐户、支付宝或微信钱包里对各种收支进行记帐计算后的余额。

那什么是记帐呢?举个例子：

小张每月工资是1万元，在发工资的过程中，银行会记录：公司账户减1万元，小张账户加1万元。发工资后，小张趁双11用微信支付买了件衣服，花费500元，这时微信会记录：小张的账户减500元，商家的账户加500元。

我们认可这样的记帐方式，是基于对记账者(银行、微信支付等第三方机构)的信任。但它们属于中心化记账系统，难以避免因系统故障、公司倒闭或其他原因导致的记账失效、失真。

如果可以人手一个帐本，大家共同参与记帐，帐本实时同步，账本就变得公开透明、真实可靠多了。这样，任何一方出现问题，都不会影响记帐的安全运作。与由个别机构进行记帐相比，这显然是个更好的记账方式，这其实也是区块链的记账方式。

02区块链的记账方式

我们已经将多种玩法的 AI 在快手的《兜来玩麻将》中上线，我们最高级的 AI 水平显著强于高水平玩家。其中，我们的国标麻将 AI 参加了 2020 年 IJCAI 的国标麻将比赛，以第一名的成绩入围即将举行的决赛。在麻将 AI 的探索中，我们不但沉淀了一套麻将 AI 的能力，而且还锤炼了一套完整的游戏 AI 的训练平台和方法论，并已经将相关经验迁移到斗地主等游戏中。

规划和展望

随着 AI 能力的不断扩展，对游戏的赋能也会不断深化和拓展，相信在不远的将来 AI 能力可以更深入的触及游戏行业的各个环节，极致化用户体验，形成 AI 能力在游戏上更完美的闭环。
 

其次，我们设计了平滑的奖励来解决初期训练困难和奖励方差过大的问题。在训练初期，AI 水平比较低，直接用游戏的真实奖励随机性太大，容易使梯度方向偏离正确方向。我们通过加入一些人为设计的听牌、和牌的奖励使得奖励更符合对于新手的引导。在训练过程中，我们逐渐降低人为设计奖励的权重，使奖励平滑地回归游戏的真实奖励。同时，我们采取了 reward clipping 方法来防止梯度过大。

麻将的规则十分多样，不同规则麻将在流程、可行动作域、记分方式等方面有区别。为了高效支持大量不同规则的麻将 AI，我们的算法框架必须具有比较强的通用性和可扩展性。为了提高可扩展性，我们尝试了区别于传统 Decision Flow 的全新结构：将所有可能的 action(包括出牌)排成一个向量作为模型输出的概率分布，这样用一个模型就能处理所有打牌阶段决策。我们对这个单模型 AI 使用 RBI 方法进行强化学习训练，得到了很好的效果。此外，这种算法可扩展性极强，每种玩法只需要重新训练一个模型，代码改动量也很小。我们用这个框架快速拓展，目前已经支持了血流、血战、大众、二人、北方推倒胡，国标麻将等规则。

首先我们解决了缺少高质量数据的问题。该方法是先使用简单的基于规则的 AI 互相对战生成训练数据，并用这个数据进行监督学习得到一个初始化模型，然后从这样一个初始化模型出发自对弈进行强化学习。我们称这个方法为 RuleBase Initialization (RBI)。RBI 方法得到的 AI 水平远高于从零开始训练的 AI，并且这套流程可以适用于不同的麻将规则，可扩展性强，并可以满足 AI 分级的要求。

（编辑：平顶山站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!