しょうちゃんのつれづれ日記

日々のお仕事、趣味の将棋と音楽関連(ピアノ・作曲)、読んだ本の感想および社会問題や国内外の政治・経済等に対する批判的な論評(ショウノミクス)などの内容が中心になります。

ディープラーニングの実験をしていました

前期の授業終了から期末試験までのわずかなタイムラグを利用して、オリジナルデータに基づく深層学習(ディープラーニング)の実験をしていました。深層学習は性能が良い、と言われていますが、私の計算(経験)では伝統的な統計モデルや他の機械学習手法と比較して必ずしも良いとは言えないため、原因を調べるのとコツをつかむことが主な目的です。
入力の数が少ない低次元データで、出力が連続変量の回帰問題で試しており、定番のk-fold cross-validationで二乗誤差により評価していますが、中間層の数を増やすのと(各々の中間層における)中間素子数を増やすのではどちらが効果的か?畳み込みのフィルタの適正サイズは(2x2 vs. 3x3 etc.)?プーリングの抽出(集約)は何が良いか(max vs. average etc.)?中間層の活性化関数は何が良いか(sigmoid vs. tanh vs. ReLU etc.)?など、多少コツがつかめた気がします。
とは言え、ついこの前まで良く使われていたauto encoderが利用されなくなったり、リカレントにおける画期的な手法と言われていたLSTM(long short-term memory)がいつの間にかより単純なGRU(geted recurrent unit)に置き換わっていたりなど、流行り廃りが目まぐるしく変化し、時代についていけない、というか分からないことばかりなのも事実です。
今後は現在取り組んでいる水産資源や海洋環境等の諸問題にどのように実装していくか?ということが課題になります。