問題一覧
1
ドロップアウトを行う
2
ANDやORは学習できるが、XORは学習できない
3
シグモイド関数やtanh関数で深いネットワークに使うと発生しやすい
4
ネットワークに非線形性を加える
5
GPUは行列演算などの並列処理に優れており、深層学習に向いている
6
どのアルゴリズムもすべての問題に対して平均すれば等しくなる
7
活性化関数にsoftmaxを用いる
8
出力が0または1の離散値になる
9
0未満の入力では勾配が0になる
10
ニューラルネットワークに非線形性を与える
11
勾配が小さくなりやすく、勾配消失を引き起こしやすい
12
出力が-1〜1の範囲になる
13
誤差関数の最小値を求めるため、勾配が小さくなる方向にパラメータを更新する
14
モデルの出力と正解との誤差を定量的に表す
15
エポック数 × バッチ数 = 総イテレーション数
16
出力と正解の差の2乗を平均して誤差を測る
17
分類
18
過学習を防ぎ、汎化性能を高める
19
1サンプルごとに重みを更新する
20
訓練データ全体を1つのバッチとして扱い、一度に重みを更新する
21
バッチとSGDのバランスが良く、GPUの並列計算にも適している
22
B. 学習率やバッチサイズなど、あらかじめ人が設定するパラメータである
23
B. 訓練データの1サンプルごとに重み更新を行うため、更新にばらつきがある
24
C. 検証データに対する誤差が増加し始めた時点で学習を終了することで過学習を防ぐ
25
C. モデルの容量がある点を超えると、いったん誤差が増え、その後再び減少する
26
C. 学習時に一部のノードを無効化することで、過学習を防ぐ手法
27
特徴表現学習
28
能動学習
29
強化学習
30
C. ニューラルネットワークは、人間の神経回路を模した数理モデルである。
31
B. 単純パーセプトロンは、線形分離可能な問題にのみ対応できる。
32
B. MLPの隠れ層では、非線形な活性化関数を使用する。
33
B. GPUは、大量のコアを持ち、並列処理に優れている。
34
C. CPUは、汎用的な処理に適しており、複雑な制御や直列処理に強い。
35
B. GPGPUは、GPUを汎用計算に利用する技術である。
36
C. TPUは、Googleが深層学習のために開発した専用プロセッサである。
37
C. シグモイド関数は、ReLU関数に比べて勾配消失問題が起きやすい。
38
C. Leaky ReLUは、負の入力に対して小さい傾きで値を返す。
39
C. 隠れ層の活性化関数は非線形である必要がある。
40
負の入力値に対して小さい勾配を持つ
41
シグモイド関数(単一出力)またはソフトマックス関数(多クラス出力)
42
予測と正解の差を定量的に評価する
43
回帰:平均二乗誤差、分類:交差エントロピー
44
2つの確率分布の「距離」(非対称)を測る尺度である
45
同じクラスのデータは近く、異なるクラスは離すように学習する
46
アンカー、ポジティブ、ネガティブの3つのサンプルを使って学習する
47
過学習を抑えて汎化性能を高める
48
重みのいくつかをゼロにして特徴選択を行う
49
推論時(テスト時)にもランダムにノードを無効化する
50
バッチ学習は全データを用いて1回の勾配計算を行うのに対し、ミニバッチ学習は一部のデータで複数回に分けて学習する
51
勾配がゼロになるが、最小値でも最大値でもない点
52
過去の勾配を加味して学習を進めることで、振動を抑えながら収束を速める手法
53
パラメータごとの勾配の累積に応じて学習率を調整する手法である
54
誤差関数の勾配を計算し、最小化する方向にパラメータを更新する
55
全データセットを1回使って学習するサイクル
56
検証データの損失が悪化し始めた段階で学習を停止することで過学習を防ぐ手法
57
モデルの複雑さが増すと一度は汎化誤差が上がるが、その後再び下がる現象
58
人手で設定し、学習の進め方に影響するパラメータである
59
ハイパーパラメータの候補を網羅的に組み合わせて検証し、最適な値を探索する方法
問題一覧
1
ドロップアウトを行う
2
ANDやORは学習できるが、XORは学習できない
3
シグモイド関数やtanh関数で深いネットワークに使うと発生しやすい
4
ネットワークに非線形性を加える
5
GPUは行列演算などの並列処理に優れており、深層学習に向いている
6
どのアルゴリズムもすべての問題に対して平均すれば等しくなる
7
活性化関数にsoftmaxを用いる
8
出力が0または1の離散値になる
9
0未満の入力では勾配が0になる
10
ニューラルネットワークに非線形性を与える
11
勾配が小さくなりやすく、勾配消失を引き起こしやすい
12
出力が-1〜1の範囲になる
13
誤差関数の最小値を求めるため、勾配が小さくなる方向にパラメータを更新する
14
モデルの出力と正解との誤差を定量的に表す
15
エポック数 × バッチ数 = 総イテレーション数
16
出力と正解の差の2乗を平均して誤差を測る
17
分類
18
過学習を防ぎ、汎化性能を高める
19
1サンプルごとに重みを更新する
20
訓練データ全体を1つのバッチとして扱い、一度に重みを更新する
21
バッチとSGDのバランスが良く、GPUの並列計算にも適している
22
B. 学習率やバッチサイズなど、あらかじめ人が設定するパラメータである
23
B. 訓練データの1サンプルごとに重み更新を行うため、更新にばらつきがある
24
C. 検証データに対する誤差が増加し始めた時点で学習を終了することで過学習を防ぐ
25
C. モデルの容量がある点を超えると、いったん誤差が増え、その後再び減少する
26
C. 学習時に一部のノードを無効化することで、過学習を防ぐ手法
27
特徴表現学習
28
能動学習
29
強化学習
30
C. ニューラルネットワークは、人間の神経回路を模した数理モデルである。
31
B. 単純パーセプトロンは、線形分離可能な問題にのみ対応できる。
32
B. MLPの隠れ層では、非線形な活性化関数を使用する。
33
B. GPUは、大量のコアを持ち、並列処理に優れている。
34
C. CPUは、汎用的な処理に適しており、複雑な制御や直列処理に強い。
35
B. GPGPUは、GPUを汎用計算に利用する技術である。
36
C. TPUは、Googleが深層学習のために開発した専用プロセッサである。
37
C. シグモイド関数は、ReLU関数に比べて勾配消失問題が起きやすい。
38
C. Leaky ReLUは、負の入力に対して小さい傾きで値を返す。
39
C. 隠れ層の活性化関数は非線形である必要がある。
40
負の入力値に対して小さい勾配を持つ
41
シグモイド関数(単一出力)またはソフトマックス関数(多クラス出力)
42
予測と正解の差を定量的に評価する
43
回帰:平均二乗誤差、分類:交差エントロピー
44
2つの確率分布の「距離」(非対称)を測る尺度である
45
同じクラスのデータは近く、異なるクラスは離すように学習する
46
アンカー、ポジティブ、ネガティブの3つのサンプルを使って学習する
47
過学習を抑えて汎化性能を高める
48
重みのいくつかをゼロにして特徴選択を行う
49
推論時(テスト時)にもランダムにノードを無効化する
50
バッチ学習は全データを用いて1回の勾配計算を行うのに対し、ミニバッチ学習は一部のデータで複数回に分けて学習する
51
勾配がゼロになるが、最小値でも最大値でもない点
52
過去の勾配を加味して学習を進めることで、振動を抑えながら収束を速める手法
53
パラメータごとの勾配の累積に応じて学習率を調整する手法である
54
誤差関数の勾配を計算し、最小化する方向にパラメータを更新する
55
全データセットを1回使って学習するサイクル
56
検証データの損失が悪化し始めた段階で学習を停止することで過学習を防ぐ手法
57
モデルの複雑さが増すと一度は汎化誤差が上がるが、その後再び下がる現象
58
人手で設定し、学習の進め方に影響するパラメータである
59
ハイパーパラメータの候補を網羅的に組み合わせて検証し、最適な値を探索する方法