Seq2SQL属于natural language interface (NLI)的领域,方便普通用户接入并查询数据库中的内容,即用户不需要了解SQL语句,只需要通过自然语言,就可查询所需内容。
Seq2SQL借鉴的是Seq2Seq的思想,与Seq2Seq应用于机器翻译与Chatbot类似,Seq2SQL将输入的语句encode后再decode成结构化的SQL语言输出,强化学习是在Seq2SQL中的最后一个模块中应用。同时,这篇论文还推出一个数据集WikiSQL,数据集内有人工标注好的问句及其对应SQL语句。
试验结果显示,Seq2SQL的准确率也不是特别的高,只有60.3%
Seq2SQL结构:
Seq2SQL由三部分组成:
![](https://images2017.cnblogs.com/blog/985935/201709/985935-20170907162344288-219264219.png)
第一部分: Aggregation classifier 这一部分其实是一个分类器,将用户输入的语句分类成是select count/max/min 等统计相关的约束条件
在此处采用的Augmented Pointer Network,Augmented Pointer Network总体而言也是ecoder-to-decoder的结构,
encoder采用的是两层的bi-LSTM, decoder 采用的是两层的unidirectional LSTM,
encoder输出h,ht对应的是第t个词的输出状态
decoder的每一步是,输入y s-1,输出状态gs,接着,decoder为每个位置t生成一个attention的score
![](https://images2017.cnblogs.com/blog/985935/201709/985935-20170907162344601-1968086084.png)
![](https://images2017.cnblogs.com/blog/985935/201709/985935-20170907162345538-2092523539.png)
在Seq2SQL中,首先为input生成一个表征向量
(agg:aggregation clasifier, inp:input,enc:encoder) 首先为Augmented Pointer Network类似,计算出一个attention的分数,
,![](https://images2017.cnblogs.com/blog/985935/201709/985935-20170907162346554-1415959792.png)
![](https://images2017.cnblogs.com/blog/985935/201709/985935-20170907162345960-810662151.png)
![](https://images2017.cnblogs.com/blog/985935/201709/985935-20170907162346304-1719560422.png)
![](https://images2017.cnblogs.com/blog/985935/201709/985935-20170907162346554-1415959792.png)
量化后,通过softmax函数 ![](https://images2017.cnblogs.com/blog/985935/201709/985935-20170907162347116-598622693.png)
![](https://images2017.cnblogs.com/blog/985935/201709/985935-20170907162347116-598622693.png)
input的表征向量 ![](https://images2017.cnblogs.com/blog/985935/201709/985935-20170907162347491-83173654.png)
![](https://images2017.cnblogs.com/blog/985935/201709/985935-20170907162347491-83173654.png)
通过一个多层的网络和softmax完成分类任务
![](https://images2017.cnblogs.com/blog/985935/201709/985935-20170907162347741-168806293.png)
![](https://images2017.cnblogs.com/blog/985935/201709/985935-20170907162348022-1666105912.png)
第二部分: select column 这一部分是看用户输入的问句命中了哪个column
首先将每个column name 通过LSTM encode
![](https://images2017.cnblogs.com/blog/985935/201709/985935-20170907162349397-1845896013.png)
WikiSQL: ![](https://images2017.cnblogs.com/blog/985935/201709/985935-20170907162349819-1546146543.png)
![](https://images2017.cnblogs.com/blog/985935/201709/985935-20170907162348257-730158257.png)
将用户输入encode成与第一部分
类似的![](https://images2017.cnblogs.com/blog/985935/201709/985935-20170907162348960-870789969.png)
![](https://images2017.cnblogs.com/blog/985935/201709/985935-20170907162348632-139114415.png)
![](https://images2017.cnblogs.com/blog/985935/201709/985935-20170907162348960-870789969.png)
最终通过一个多层的神经元和softmax确定是命中哪一行
![](https://images2017.cnblogs.com/blog/985935/201709/985935-20170907162349163-2104106994.png)
![](https://images2017.cnblogs.com/blog/985935/201709/985935-20170907162349397-1845896013.png)
第三部分:where clause 确定约束条件,因为最终生成的SQL可能与标注中的不太一样,但是依旧有一样的结果,所以不能像前两部分一样使用交叉熵作为loss训练,因此使用强化训练中reward函数 (g: ground-truth), loss使用梯度
![](https://images2017.cnblogs.com/blog/985935/201709/985935-20170907162349616-573682496.png)
WikiSQL包含一系列与SQL相关的问题集以及SQL table
![](https://images2017.cnblogs.com/blog/985935/201709/985935-20170907162349819-1546146543.png)
![](https://images2017.cnblogs.com/blog/985935/201709/985935-20170907162350210-113004775.png)