論文Abstract100本ノック#3
前回↓
11 RoR（2016）
原文：
Residual networks of residual networks: Multilevel residual networks
Abstract
A residual-networks family with hundreds or even thousands of layers dominates major image recognition tasks, but building a network by simply stacking residual blocks inevitably limits its optimization ability.
語彙：
dominates
inevitably
訳：
数百または数千のレイヤーを持つ残差ネットワークファミリーは主要な画像認識タスクの中心的存在であるが、残差ブロックを単純に積み重ねてネットワークを構築するとその最適化能力が必然的に制限される。
This paper proposes a novel residual-network architecture, Residual networks of Residual networks (RoR), to dig the optimization ability of residual networks.
語彙：
dig
訳：
この論文は残差ネットワークの最適化能力を発掘するために，新しい残差ネットワークアーキテクチャであるResidual networks of Residual networks（RoR）を提案する。
RoR substitutes optimizing residual mapping of residual mapping for optimizing original residual mapping.
語彙：
substitutes
訳：
RoRは元の残差マッピングを最適化するための残差マッピングの残差マッピングを最適化する代用品である。
In particular, RoR adds level-wise shortcut connections upon original residual networks to promote the learning capability of residual networks.
語彙：
level-wise
訳：
特に，RoRは元の残差ネットワークにレベルごとのショートカット接続を追加して残差ネットワークの学習機能を促進する。
More importantly, RoR can be applied to various kinds of residual networks (ResNets, Pre-ResNets and WRN) and significantly boost their performance.
語彙：
boost
訳：
さらに重要なことに，RoRはさまざまな種類の残差ネットワーク（ResNet、Pre-ResNet、WRN）に適用できそのパフォーマンスを大幅に向上させることができる。
Our experiments demonstrate the effectiveness and versatility of RoR, where it achieves the best performance in all residual-network-like structures.
語彙：
versatility
訳：
私たちの実験はRoRの有効性と汎用性を実証し，すべての残差ネットワークのような構造で最高のパフォーマンスを達成する。
Our RoR-3-WRN58-4+SD models achieve new state-of-the-art results on CIFAR-10, CIFAR-100 and SVHN, with test errors 3.77%, 19.73% and 1.59%, respectively.
訳：
RoR-3-WRN58-4 + SDモデルはCIFAR-10，CIFAR-100，SVHNでそれぞれ最新のテスト結果を達成し，テストエラーはそれぞれ3.77％，19.73％，1.59％である。
RoR-3 models also achieve state-of-the-art results compared to ResNets on ImageNet data set.
訳： また，RoR-3モデルはImageNetデータセットのResNetと比較して最新の結果を達成する。
12 FractalNet（2016）
原文：
Fractalnet: Ultra-deep neural networks without residuals
Abstract
We introduce a design strategy for neural network macro-architecture based on self-similarity.
語彙：
self-similarity
訳：
自己相似性に基づいたNNマクロアーキテクチャの設計戦略を紹介する。
Repeated application of a simple expansion rule generates deep networks whose structural layouts are precisely truncated fractals.
語彙：
expansion
fractals
訳：
単純な拡張ルールを繰り返し適用することで構造レイアウトが正確に切り捨てられたフラクタルである深いネットワークが生成される。
These networks contain interacting subpaths of different lengths, but do not include any pass-through or residual connections;
every internal signal is transformed by a filter and nonlinearity before being seen by subsequent layers.
語彙：
subpaths
subsequent
訳：
これらのネットワークには長さが異なる相互作用するサブパスが含まれるが，パススルー接続や残差接続は含まれない；
すべての内部信号は後続のレイヤーで表示される前にフィルターと非線形性によって変換される。
In experiments, fractal networks match the excellent performance of standard residual networks on both CIFAR and ImageNet classification tasks, thereby demonstrating that residual representations may not be fundamental to the success of extremely deep convolutional neural networks.
訳：
実験では，フラクタルネットワークはCIFARとImageNetの両方の分類タスクで標準の残差ネットワークの優れたパフォーマンスと一致するため，残差表現は非常に深いCNNの成功の基本ではない可能性がある。
Rather, the key may be the ability to transition, during training, from effectively shallow to deep.
訳：
むしろ，重要なのは学習中に効果的に浅いところから深いところに移行する能力かもしれない。
We note similarities with student-teacher behavior and develop drop-path, a natural extension of dropout, to regularize co-adaptation of subpaths in fractal architectures.
語彙：
note
訳：
学生と教師の行動との類似点に注意し，ドロップアウトの自然な拡張であるドロップパスを開発して，フラクタルアーキテクチャのサブパスの協調適応を正規化します。
Such regularization allows extraction of high-performance fixed-depth subnetworks.
訳：
このような正則化により高性能の深さを固定したサブネットワークを抽出できる。
Additionally, fractal networks exhibit an anytime property:
shallow subnetworks provide a quick answer, while deeper subnetworks, with higher latency, provide a more accurate answer.
語彙：
property
latency
訳：
さらに，フラクタルネットワークはいつでもプロパティを示す：
浅いサブネットワークは迅速な回答を提供し，深いサブネットワークはより高いレイテンシでより正確な回答を提供する。
13 DenseNet（2016）
原文：
Densely connected convolutional networks
Abstract
Recent work has shown that convolutional networks can be substantially deeper, more accurate, and efficient to train if they contain shorter connections between layers close to the input and those close to the output.
訳：
最近の研究によると，畳み込みネットワークは入力に近いレイヤーと出力に近いレイヤー間の接続が短い場合、学習が大幅に深く、より正確で、効率的である。
In this paper, we embrace this observation and introduce the Dense Convolutional Network (DenseNet), which connects each layer to every other layer in a feed-forward fashion.
語彙：
embrace
feed-forward
訳：
本論文では，この観測を取り入れて各層をフィードフォワード方式で他のすべての層に接続するDense Convolutional Network（DenseNet）を紹介する。
Whereas traditional convolutional networks with L layers have L connections - one between each layer and its subsequent layer - our network has L(L+1)/2 direct connections.
語彙：
Whereas
訳：
従来の畳み込みネットワークにはL層に対してL接続ある（各層とその次の層の間に1つ）が，このネットワークにはL（L + 1）/ 2の直接接続がある。
For each layer, the feature-maps of all preceding layers are used as inputs, and its own feature-maps are used as inputs into all subsequent layers.
訳：
各レイヤーについて，先行するすべてのレイヤーの特徴マップが入力として使用され，独自の特徴マップが後続のすべてのレイヤーへの入力として使用される。
DenseNets have several compelling advantages:
they alleviate the vanishing-gradient problem, strengthen feature propagation, encourage feature reuse, and substantially reduce the number of parameters.
語彙：
compelling
alleviate
encourage
訳：
DenseNetにはいくつかの魅力的な利点がある：
消失勾配の問題を緩和し，特徴の伝播を強化し，特徴の再利用を促進し，パラメーターの数を大幅に削減する。
We evaluate our proposed architecture on four highly competitive object recognition benchmark tasks (CIFAR-10, CIFAR-100, SVHN, and ImageNet).
語彙：
competitive
訳：
競争の盛んな4つのオブジェクト認識ベンチマークタスク（CIFAR-10、CIFAR-100、SVHN、およびImageNet）で提案されているアーキテクチャを評価する。
DenseNets obtain significant improvements over the state-of-the-art on most of them, whilst requiring less computation to achieve high performance.
語彙：
whilst
訳：
DenseNetsはそれらのほとんどで最新技術よりも大幅に改善されているながら，高いパフォーマンスを実現するために必要な計算は少なくなっている。
Code and pre-trained models are available at https://github.com/liuzhuang13/DenseNet
訳：
コードと事前トレーニングされたモデルは，https://github.com/liuzhuang13/DenseNetで入手できる。
14 SqueezeNet（2016）
原文：
Squeezenet: Alexnet-level accuracy with 50x fewer parameters and <0.5mb model size
Abstract
Recent research on deep neural networks has focused primarily on improving accuracy.
訳：
DNNに関する最近の研究は主に精度の向上に焦点を当てている。
For a given accuracy level, it is typically possible to identify multiple DNN architectures that achieve that accuracy level.
訳：
指定された精度レベルで，その精度レベルを達成する複数のDNNアーキテクチャを通常識別できる。
With equivalent accuracy, smaller DNN architectures offer at least three advantages:
(1) Smaller DNNs require less communication across servers during distributed training.
(2) Smaller DNNs require less bandwidth to export a new model from the cloud to an autonomous car.
(3) Smaller DNNs are more feasible to deploy on FPGAs and other hardware with limited memory.
語彙：
at least
bandwidth
feasible
訳：
同等の精度で，より小さいDNNアーキテクチャには少なくとも3つの利点がある。
（1）小規模なDNNでは分散トレーニング中のサーバー間の通信が少なくて済む。
（2）小規模なDNNでは新しいモデルをクラウドからautonomous carにエクスポートするために必要な帯域幅が少なくなる。
（3）小規模なDNNはメモリが限られているFPGAやその他のハードウェアに展開するのに適している。
To provide all of these advantages, we propose a small DNN architecture called SqueezeNet.
訳：
これらのすべての利点を提供するために、SqueezeNetと呼ばれる小さなDNNアーキテクチャを提案します。
SqueezeNet achieves AlexNet-level accuracy on ImageNet with 50x fewer parameters.
訳：
SqueezeNetはImageNetでAlexNetレベルの精度を50分の1のパラメーターで達成する。
Additionally, with model compression techniques we are able to compress SqueezeNet to less than 0.5MB (510x smaller than AlexNet).
語彙：
compression
訳：
さらに，モデル圧縮技術によりSqueezeNetを0.5MB未満（AlexNetの510分の1以下）に圧縮できる。
The SqueezeNet architecture is available for download here: https://github.com/DeepScale/SqueezeNet
訳：
SqueezeNetアーキテクチャは、https://github.com/DeepScale/SqueezeNetからダウンロードできる。
15 MobileNet（2017）
原文：
Mobilenets: Efficient convolutional neural networks for mobile vision applications
Abstract
We present a class of efficient models called MobileNets for mobile and embedded vision applications.
語彙：
embedded
訳：
モバイルおよび組み込みビジョンアプリケーション向けのMobileNetと呼ばれるクラスの効率的なモデルを紹介する。
MobileNets are based on a streamlined architecture that uses depth-wise separable convolutions to build light weight deep neural networks.
語彙：
streamlined
訳：
MobileNetは深さ方向に分離可能な畳み込みを使用して軽量のDNNを構築する合理化されたアーキテクチャに基づいている。
We introduce two simple global hyper-parameters that efficiently trade off between latency and accuracy.
訳：
レイテンシと精度を効率的にトレードオフする2つのシンプルなグローバルハイパーパラメーターを導入する。
These hyper-parameters allow the model builder to choose the right sized model for their application based on the constraints of the problem.
訳：
これらのハイパーパラメータによってモデル作成者は問題の制約に基づいてアプリケーションに適したサイズのモデルを選択できる。
We present extensive experiments on resource and accuracy tradeoffs and show strong performance compared to other popular models on ImageNet classification.
語彙：
extensive
訳：
リソースと精度のトレードオフに関する広範な実験を提示しImageNet分類に関する他の一般的なモデルと比較して強力なパフォーマンスを示す。
We then demonstrate the effectiveness of MobileNets across a wide range of applications and use cases including object detection, finegrain classification, face attributes and large scale geo-localization.
語彙：
then
use cases
finegrain
訳：
次に，幅広いアプリケーションでのMobileNetの有効性を実証し，オブジェクト検出，細粒度分類，顔属性，大規模な地理的ローカリゼーションなどのユースケースを紹介する。
次回↓
