十の並列した脳

何でも勉強する,毎週月木曜に投稿予定

論文Abstract100本ノック#10

前回↓

 

ryosuke-okubo.hatenablog.com

 

 

 

46 VAE(2013)

f:id:ryosuke_okubo:20190930213922p:plain

原文:

Auto-Encoding Variational Bayes

 

Abstract:

How can we perform efficient inference and learning in directed probabilistic models, in the presence of continuous latent variables with intractable posterior distributions, and large datasets?

語彙:

directed

intractable

訳:

難解な事後分布を伴う連続的な潜在変数と大規模なデータセットの存在下で,有向確率モデルで効率的な推論と学習をどのように実行するか?

 

We introduce a stochastic variational inference and learning algorithm that scales to large datasets and, under some mild differentiability conditions, even works in the intractable case.

語彙:

stochastic variational inference

訳:

大規模なデータセットにスケーリングする確率的変分推論および学習アルゴリズムを導入する,それはいくつかの穏やかな微分可能性条件下では,対処が難しい場合でも機能する。

 

Our contributions is two-fold.

訳:

私たちの貢献は2つある。

 

First, we show that a reparameterization of the variational lower bound yields a lower bound estimator that can be straightforwardly optimized using standard stochastic gradient methods.

語彙:

reparameterization

straightforwardly

stochastic gradient methods

訳:

最初に,変分下限の再パラメーター化により確率的勾配降下法を使用して簡単に最適化できる下限推定量が得られることを示す。

 

Second, we show that for i.i.d. datasets with continuous latent variables per datapoint, posterior inference can be made especially efficient by fitting an approximate inference model (also called a recognition model) to the intractable posterior using the proposed lower bound estimator.

語彙:

i.i.d.

approximate

訳:

次に,データ点ごとに連続した潜在変数を持つi.i.d.データセットの場合,提案された下限推定量を使用して近似推論モデル(認識モデルとも呼ばれる)を難解な事後分布に適合させることにより,事後推論を特に効率的に行うことができる。

 

Theoretical advantages are reflected in experimental results.

訳:

理論上の利点は実験結果に反映されている。

 

47 VHRED(2016)

f:id:ryosuke_okubo:20190930213957p:plain

原文:

A Hierarchical Latent Variable Encoder-Decoder Model for Generating Dialogues

 

Abstract:

Sequential data often possesses a hierarchical structure with complex dependencies between subsequences, such as found between the utterances in a dialogue.

語彙:

possesses

utterances

訳:

シークエンスのデータは,多くの場合ダイアログ内の発話間に見られるようなサブシークエンス間の複雑な依存関係を持つ階層構造を持っている。

 

In an effort to model this kind of generative process, we propose a neural network-based generative architecture, with latent stochastic variables that span a variable number of time steps.

訳:

この種の生成プロセスをモデル化するために,ニューラルネットワークベースの生成アーキテクチャを提案する,このアーキテクチャは可変数のタイムステップにわたる潜在的な確率変数を備えている。

 

We apply the proposed model to the task of dialogue response generation and compare it with recent neural network architectures.

訳:

提案されたモデルを対話応答生成のタスクに適用し,最近のニューラルネットワークアーキテクチャと比較する。

 

We evaluate the model performance through automatic evaluation metrics and by carrying out a human evaluation.

訳:

自動評価指標と人間による評価によって,モデルのパフォーマンスを評価する。

 

The experiments demonstrate that our model improves upon recently proposed models and that the latent variables facilitate the generation of long outputs and maintain the context.

訳:

実験は,我々のモデルが最近提案されたモデルを改善し,潜在変数が長い出力の生成を促進しコンテキストを維持することを示す。

 

48 Pointer Networks(2015)

f:id:ryosuke_okubo:20190930214057p:plain

原文:

Pointer Networks

 

Abstract:

We introduce a new neural architecture to learn the conditional probability of an output sequence with elements that are discrete tokens corresponding to positions in an input sequence.

語彙:

corresponding

訳:

入力シーケンスの位置に対応する離散トークンである要素を持つ出力シークエンスの条件付き確率を学習するために新しいニューラルアーキテクチャを導入する。

 

Such problems cannot be trivially addressed by existent approaches such as sequence-to-sequence and Neural Turing Machines, because the number of target classes in each step of the output depends on the length of the input, which is variable.

語彙:

trivially

訳:

出力の各ステップのターゲットクラス数は入力の長さ(変数)に依存するため,このような問題はsequence-to-sequenceやNeural Turing Machinesなどの既存のアプローチでは簡単に対処できない。

 

Problems such as sorting variable sized sequences, and various combinatorial optimization problems belong to this class.

訳:

可変サイズのシークエンスのソートなどの問題,およびさまざまな組み合わせ最適化の問題はこのクラスに属する。

 

Our model solves the problem of variable size output dictionaries using a recently proposed mechanism of neural attention.

訳:

我々のモデルは最近提案されたneural attentionのメカニズムを使用して可変サイズの出力辞書の問題を解決する。

 

It differs from the previous attention attempts in that, instead of using attention to blend hidden units of an encoder to a context vector at each decoder step, it uses attention as a pointer to select a member of the input sequence as the output.

語彙:

instead of

blend

訳:

これは各デコーダーステップでエンコーダーの非表示ユニットをコンテキストベクトルに混ぜる代わりにattentionを使用して、入力シークエンスのメンバーを出力として選択するという点で,以前のattentionの試みとは異なる。

 

We call this architecture a Pointer Net (Ptr-Net).

訳:

我々はこのアーキテクチャをPointer Net(Ptr-Net)と呼ぶ。

 

We show Ptr-Nets can be used to learn approximate solutions to three challenging geometric problems -- finding planar convex hulls, computing Delaunay triangulations, and the planar Travelling Salesman Problem -- using training examples alone.

語彙:

convex hulls

Delaunay triangulations

Travelling Salesman Problem

訳:

Ptr-Netsを使用して,学習例のみを使用して平面凸包の検出,Delaunay三角形分割の計算、平面巡回セールスマン問題の3つの困難な幾何学的問題の近似解を学習できることを示す。

 

Ptr-Nets not only improve over sequence-to-sequence with input attention, but also allow us to generalize to variable size output dictionaries.

訳:

Ptr-Netsはattentionを入力してsequence-to-sequenceを改善するだけでなく,可変サイズの出力辞書に一般化することもできる。

 

We show that the learnt models generalize beyond the maximum lengths they were trained on.

訳:

学習したモデルは訓練された最大長を超えて一般化することを示す。

 

We hope our results on these tasks will encourage a broader exploration of neural learning for discrete problems.

訳:

これらのタスクに関する結果が離散問題のニューラル学習のより広範な探索を促進することを期待する。

 

49 CopyNet(2016)

f:id:ryosuke_okubo:20190930214236p:plain

原文:

Incorporating Copying Mechanism in Sequence-to-Sequence Learning

 

Abstract:

We address an important problem in sequence-to-sequence (Seq2Seq) learning referred to as copying, in which certain segments in the input sequence are selectively replicated in the output sequence.

語彙:

referred to as

訳:

入力シークエンスの特定のセグメントが出力シークエンスで選択的に複製される、copyingと呼ばれるsequence-to-sequence(Seq2Seq)学習の重要な問題に対処する。

 

A similar phenomenon is observable in human language communication.

語彙:

phenomenon

訳:

同様の現象は人間の言語コミュニケーションでも見られる。

 

For example, humans tend to repeat entity names or even long phrases in conversation.

語彙:

entity names

訳:

たとえば,人間は会話でエンティティ名や長いフレーズを繰り返す傾向があります。

 

The challenge with regard to copying in Seq2Seq is that new machinery is needed to decide when to perform the operation.

訳:

Seq2Seqでのcopyingに関する課題は,操作を実行するタイミングを決定するために新しい機械が必要なことである。

 

In this paper, we incorporate copying into neural network-based Seq2Seq learning and propose a new model called CopyNet with encoder-decoder structure.

訳:

本論文では,ニューラルネットワークベースのSeq2Seq学習にcopyingを組み込み,エンコーダーデコーダー構造を備えたCopyNetと呼ばれる新しいモデルを提案する。

 

CopyNet can nicely integrate the regular way of word generation in the decoder with the new copying mechanism which can choose sub-sequences in the input sequence and put them at proper places in the output sequence.

訳:

CopyNetはデコーダでの通常の単語生成方法と,入力シークエンスのサブシークエンスを選択して出力シークエンスの適切な場所に配置できる新しいコピーメカニズムとをうまく統合できる。

 

Our empirical study on both synthetic data sets and real world data sets demonstrates the efficacy of CopyNet.

訳:

合成データセットと実世界のデータセットの両方に関する我々の実証研究はCopyNetの有効性を示している。

 

For example, CopyNet can outperform regular RNN-based model with remarkable margins on text summarization tasks.

訳:

たとえば,CopyNetは通常のRNNベースのモデルよりも優れておりテキストの要約タスクに大きなマージンがある。

 

50 Pointer-Generator Network(2017)

f:id:ryosuke_okubo:20190930214313p:plain

原文:

Get To The Point: Summarization with Pointer-Generator Networks

 

Abstract:

Neural sequence-to-sequence models have provided a viable new approach for abstractive text summarization (meaning they are not restricted to simply selecting and rearranging passages from the original text).

語彙:

viable

訳:

ニューラルsequence-to-sequenceモデルは抽象テキスト要約のための実行可能な新しいアプローチを提供してきた(元のテキストからパッセージを選択して再配置することに限定されないことを意味する)。

 

However, these models have two shortcomings:

they are liable to reproduce factual details inaccurately, and they tend to repeat themselves.

語彙:

shortcomings

be liable to

訳:

ただし,これらのモデルには2つの欠点がある:

事実の詳細を不正確に再現しがちであり,繰り返す傾向がある。

 

In this work we propose a novel architecture that augments the standard sequence-to-sequence attentional model in two orthogonal ways.

語彙:

orthogonal

訳:

この作業では2つの直交する方法で標準のsequence-to-sequence attentionalモデルを強化する新しいアーキテクチャを提案する。

 

First, we use a hybrid pointer-generator network that can copy words from the source text via pointing, which aids accurate reproduction of information, while retaining the ability to produce novel words through the generator.

訳:

まず,pointingを介してソーステキストから単語をコピーできるhybrid pointer-generator networkを使用する,これによりgeneratorを介して新しい単語を生成する機能を保持しながら,情報を正確に再現できる。

 

Second, we use coverage to keep track of what has been summarized, which discourages repetition.

語彙:

discourages

訳:

次に,coverageを使用して要約された内容を追跡する,これにより繰り返しが発生しなくなる。

 

We apply our model to the CNN / Daily Mail summarization task, outperforming the current abstractive state-of-the-art by at least 2 ROUGE points.

訳:

このモデルをCNN / Daily Mail要約タスクに適用し,現在の抽象的で最先端の技術を少なくとも2 ROUGE points上回る性能を発揮する。

 

次回↓

 

ryosuke-okubo.hatenablog.com