五章 | 暗記メーカー

五章

33問 • 9ヶ月前

神谷晨平

通報

問題一覧

〜は、ディープラーニングにおいて最も成功をおさめているモデルである

わかった

畳み込み処理において、入力と同じサイズの特徴マップを取得するための処理を〜処理という

わかった

畳み込み処理のずらし幅を、〜というストライドが大きいと、特徴マップは〜なる

わかった

畳み込み処理で、広い範囲の情報を集約するときに、フィルタサイズを大きくすると計算量が増加してしまう。そこで、フィルタサイズを変えずに、フィルタの間隔を開けて畳み込み処理をする方法を〜と呼ぶ

わかった

Depthwise Separable Convolutionは、〜方向と〜方向の畳み込み処理を独立に行うことで、通常の畳み込み処理よりも計算量を削減できる。

わかった

〜は、ルールに従って小さな特徴マップを得る手法である。〜や〜とも呼ばれる。あらかじめルールに従って処理をするので、〜層には〜は存在しない

わかった

全結合層では、特徴マップを〜する処理をする。全結合層の処理をせずに、特徴マップの平均値を1つのニューロンの値とする手法を〜という。

わかった

畳み込み層、プーリング層等を重ねていくことで、超深層となっていくと精度が落ちることがある。これは、入力層近くまで〜を逆伝播できないことが原因と考えられる。対処法としては、層を飛び越えた結合である〜結合をすることが挙げられる。

わかった

スキップ結合によって、層を飛び越える部分で〜しやすくなる、〜のネットワークの〜学習担っていることで、超深層になっても識別精度の低下を防ぐことができる。

わかった

各層の特徴の分布を平均〜、分散〜の分布に〜処理すると、特徴の分布のばらつきを抑えることができる。

わかった

正規化処理は、〜をかける前の特徴に対して行う。

わかった

正規化処理の種類（データごとに各層を正規化）（データごとに全チャネルをまとめて正規化）（データごとに各チャネルを正規化）（データごとに複数のチャネルをまとめて正規化）

わかった

時系列データに対するニューラルネットワークを～と呼ぶ～では、入力層と出力層の間に～層が存在する。

わかった

RNNを使ってできるモデルの代表例は、～である。

わかった

回帰結合層の情報を伝播して、次の時刻の入力とともに利用する構造を～と呼ぶ。特に～の分野で使用される。

わかった

RNNの内、出力層の情報を伝播して、次の時刻の入力とともに利用するモデルをと呼び、～などで利用されます。

わかった

RNNの問題は、通常のニューラルネットワークにも該当する～問題と、現在の状態には関係ないが、将来の状態には関係がある入力を得た時の重みづけに矛盾が生じる～と、同様に出力に関する～があげられる。これらの問題を解決するためのモデルは、～と呼ぶ。

わかった

LSTMでは、LSTMブロックを導入している。構成はセルと3つのゲートである。セルは、～とも呼ばれ、～をブロック内にとどめておき、勾配消失問題に対応する役割がある。～ゲートは、セルの誤差情報を適宜、リセットする役割を果たす。入力ゲートと出力ゲートでは、入力重み衝突と出力重み衝突に対応する。

わかった

LSTMは、LSTMブロック内のセルとゲートを最適化する必要があるので、～を多く要する。そこで、ため、LSTMを少し簡略化した～と呼ばれる手法が代わりに用いられる場合もあります。～では～ゲート、～ゲートというゲートが入力ゲート、出力ゲート、忘却ゲートの代わりを果たします。

わかった

が、RNNを2つ組み合わせることで、未来から過去方向も含めて学習できるようにしたモデルのことを～と言います

わかった

画像を入力としてその画像の説明文を生成する～と呼ばれるタスクでは、～は画像を処理するためCNNが用いられ、～では自然言語文を出力するためRNNが用いられます。

わかった

～では、入力が時系列なら出力も時系列で予測したいという場合に用いる。自然言語処理分野を中心に活発に研究され、代表例が～です。そして、土台となる2つのRNNを組み合わせる手法は、～と呼ばれる。

わかった

正解データを次の入力データとして利用することを～と呼びます。

わかった

「時間の重み」をネットワークに組み込んだのが～と呼ばれる機構です。過去の各時刻での～層の状態を保持しておき、それぞれの重みを求め、出力を計算する際に～層の状態の重み付き和を利用する。

わかった。

Attention機構を導入することで過去の情報（入力文の各単語をエンコーダで1つずつ読み込んだ際の隠れ層の情報）を適切に重み付けして用いることが可能となり、～であっても正確な翻訳が出力できるようになりました。

わかった

トランスフォーマーはエンコーダとデコーダから〜を排除し、代わりに〜と呼ばれるネットワーク構造を採用している点が最大の特徴です

わかった

RNNにはいくつか欠点があります。 1つ目は入力データを時間軸に沿って必ず1つずつ順番に読み込む〜が必要になる点です。そのため、並列計算ができず、処理速度が遅くなります。 2つ目は時系列の最初の時刻に入力した情報の影響が時間の経過とともに〜点です。

わかった

〜が入力文と出力文の単語間の関連度を計算したものであるのに対し、〜は入力文内の単語間または出力文内の単語間の関連度を計算したものです

わかった

Self-Attentionは文内の単語間の関係を直接計算できるのですが、一方で〜の情報が失われてしまっています。トランスフォーマーではこれを回避するために、〜と呼ばれる単語の出現位置に固有の情報を入力に付加します。

わかった

トランスフォーマーではエンコーダもデコーダもSelf-Attentionを用いているのですが、仕組み上の違いが2点あります。 1点目は、デコーダはSource-Target Attentionにより〜の情報も利用するという点です。 2点目は、エンコーダでは入力文の全ての単語を見ながら計算を行いますが、デコーダでは〜順に出力を生成するため、まだ出力していない未来の情報は使えないという点です。

わかった

オートエンコーダでは、入力層（可視層）の次元よりも、隠れ層の次元を小さくしておくことで、隠れ層には〜が反映されることになります。

わかった

変分オートエンコーダは色々な応用手法も考えられており、潜在変数を連続値ではなく離散値にした〜や、潜在変数とデータの相関を高めることで生成の精度を上げた〜、VAEの目的関数において正則化を工夫することにより画像の特徴を潜在空間上でうまく分離し、画像生成を行いやすくした〜などがあります。

わかった

変分オートエンコーダは、エンコーダが入力データを統計分布のある1点となる〜に変換します。デコーダは、統計分布から〜した1点を復元することで、新しいデータを生成します。

わかった

半導体技術士_パワーデバイス1

神谷晨平 · 191問 · 2年前

半導体技術士_パワーデバイス1

191問 • 2年前

神谷晨平