Random Walk survey 1st

最近有点懒哈，写个博客鼓励一下自己～Attention！！！本文只记录在arxiv上最新出现的几篇个人觉得还挺有趣的文章，会简单的写一下该论文的的

最近有点懒哈，写个博客鼓励一下自己～

Attention！！！本文只记录在arxiv上最新出现的几篇个人觉得还挺有趣的文章，会简单的写一下该论文的的基本信息，以及对该论文的评价（仅个人理解）

1.Non-Autoregressive Neural Dialogue Generation

https://arxiv.org/pdf/2002.04250.pdf

Author：jiwei li大佬的新作品

Motivation：传统的seq2seq在解码时依赖于从左到右逐个词的生成，但是实际上该方法过于强调前后词的依赖性；且不利于并行计算。

Approach：

1.我们可不可以先从中间词开始，不依次生成单词，而是试图一步到位，之后再反复修改？即原始的 变成了 ，这里是Auto regressive的思想

2.基于互信息的思想，我们也可以反过来优化 进而帮助原模型

Discussion：

感觉Auto regressive的思想很不错， 不过换句话说，一步到位解码法是不是也变向引入了某单词在某一特定位置这一限制呢？感觉这里还可以尝试优化一下，毕竟被约束的应该是相对位置。

至于互信息，感觉是Dual-learning的变种。

2.High Mutual Information in Representation Learning with Symmetric Variational Inference

https://arxiv.org/pdf/1910.04153.pdf

Author：nips的workshop（确实很nips，公式看的头大）

Motivation：致力于解决VAE的后验崩溃（posterior collapse）的问题（其实就是train到后面结果好了但是和latent vector的依赖变弱了）

Approach：

1.引入互信息最大化（Mutual Information Maximization），将其作为正则项约束VAE的latent vector与实际输出的互信息，换句话说就是建立latent vector与图像（文本）直接的映射关系，进而防止后验崩溃（posterior collapse）

2.文中还提到了对称VAE的思想，其实就是encoding和decoding前后的表示应该是对称的，而互信息最大化有利于建模这个问题

Discussion：

公式推导真的劝退，但是这个idea其实很有道理，MIM本身就有利于解决前后不依赖的问题，恰好缓解了VAE的这一点，非常有意思。但是铺开来讲的话，是不是和NLP中VAE的BOW（bag-of-word）loss有点像？或者说这是BOW有效性的一种解释？

3.TABFACT: A LARGE-SCALE DATASET FOR TABLE-BASED FACT VERIFICATION

https://arxiv.org/pdf/1909.02164v1.pdf

Author：William Wang老师组的ICLR大作

Motivation：将事实验证（fact verification）任务推广到表格数据上，换句话说，基于表格数据，验证事实的真伪；主要contribution是新数据集

Approach：

1.TABLE-BERT，即将表格中每一行转换成一句话，与事实称述（statement）拼接到一起，用BERT进行编码，进而判断真假。

2.Latent program search：基于一个pipeline，先根据称述中的实体进行entity-linking，然后基于此从表格中抽取重要的线索，最终基于这些线索进行打分

Discussion：

新task，还挺有意思，难点主要在于对表格数据的建模。实验时以上两个模型中Table-BERT更强一点，变向说明了对文本信息建模在这个task很重要；如果能用更加优雅的方式将表格带入BERT，可能会有更好的效果。