使用 Tensorflow 构建与训练基于 Transformer 算法的宋词生成小程序(一)

学完 DeepLearning 系列课程后就想做一个小应用试试。一开始基于 RNN 训练了个古诗机器人,这个做的人很多,于是换了宋词。宋词是基于词牌生成,相对数据量比较少,基于 RNN 训练效果很一般。后来了解到了 Transformer 算法感觉发现了生机,训练了一下感觉效果真是不错。

使用效果测试的话可以直接扫码访问这个小程序玩玩, 或者小程序搜索 【小诗一首】:

小诗一首-宋词


这是生成的例子:

小诗一首-宋词-例子

Transformer (Attention Is All You Need) 介绍

Transformer 是 Google 于 2017 年在 Attention Is All You Need 论文中提出,基于 Attention 机制,在机器翻译及其他语言理解任务有着以往无法比拟的效果,后 2018 年又提出 Universal Transformer, 在多项有难度的语言理解任务上泛化效果明显更好。Transformer 解决 RNN 存在的长序列信息丢失的问题,像宋词这种讲究格式讲究押韵的语句,在 RNN 中就很难训练到好的效果,但是 Transformer 就可以很好的提取训练宋词中的格式以及押韵特征。

更多

想深入学习 Transformer 以及算法可以看 Tensorflow 官方的教程. 等下篇文章我也详细介绍如何基于 Transformer 训练一个宋词机器人,包括如何预处理训练数据,如何使用模型生成序列文本。

生产环境使用docker部署rails应用puma和sidekiq

有幸拿到docker beta的测试资格, 在Mac OSX下使用docker更加方便好玩了。这篇博文介绍如何在生产环境也就是线上利用docker实现快速部署以及横向扩展,为大规模负载均衡做准备。这里使用一个docker容器来跑rails应用,另一个容器来跑异步队列sidekiq等服务, 数据库和redis使用RDS和云redis,直接使用docker镜像的数据库也可以。
继续阅读生产环境使用docker部署rails应用puma和sidekiq

GIT服务器实现web代码自动部署

之前在一台vps服务器上面搭建了git服务器,用来做代码管理,方便团队开发。但是问题也就相应的来了,使用git可以轻松的上传代码,而由于做的是web开发,每次还都得到服务器上把代码手动pull或者复制到网页所在的文件夹下,也就比较麻烦,不适合我这种懒人。git提供了hook机制,可以很容易的实现代码的自动部署。

继续阅读GIT服务器实现web代码自动部署

Beaglebone black(BBB)使用spi接口oled:基于python

上一篇博客介绍了树莓派(raspberry)上使用spi接口的oled屏幕,今天就再把那个屏幕用到beaglebone black(BBB)上面,用它来使beaglebone black有个显示提示功能,可以用来调试等.屏幕还是那个:0.98寸的oled屏幕,ssd1306主控芯片,128*64的分辨率。  继续阅读Beaglebone black(BBB)使用spi接口oled:基于python

shell脚本实现定期检测mysql状态-停止自动重启

最近发现服务器上的mysql经常自己就听了,每次都得重启才能正常使用。于是考虑写个脚本,用来定期定时检测mysql的状态,当发现stop状态,就自动重启。省时省力,哈。

继续阅读shell脚本实现定期检测mysql状态-停止自动重启

正则表达式实现email邮件格式检验

之前去面试实习生,面试官问了个编程问题,让用js写一段,判断输入是否的文本是邮件格式,当时脑子卡壳了,硬是想通过对字符串字符的循环扫描来实现这个功能,结果做了半天还出错了,回来路上后冷静想了下,发现可以用正则表达很简单的实现。

继续阅读正则表达式实现email邮件格式检验

ubuntu linux使用ADB给P85平板刷入CMRecoveryCHS

买了个二手P85单核平板,买来折腾的,这个平板现在也还是有很多问题。于是开始给它刷机,台电官网有这个的刷机包和工具,但是只能用来刷他们官方的包,也是就想着给它刷个第三方的recovery,就选了CMRecoveryCHS这个recovery,但是在window上按着教程开启安卓的USB调试,电脑上打开ADB却显示找不到设备,好像是ADB驱动没装,装了也没用,于是考虑在UBUNTU下用ADB试看看,竟然可以。   继续阅读ubuntu linux使用ADB给P85平板刷入CMRecoveryCHS

wordpress博客加载缓慢解决:去除Open Sans和Lato 字体

最近发现我的博客加载越来越慢,一直以为是因为我的博客主机放在国外,被最近的Wall影响到了,所以也就没怎么注意。今天用firefox打开的时候发现一直停在等待加载fonts.googleapis.com中。看来问题被发现了,是该解决了。

继续阅读wordpress博客加载缓慢解决:去除Open Sans和Lato 字体