社会人博士の深層学習ブログ

深層学習を使った環境音認識研究で、働きながら博士号を取得しました

【社会人博士】体験談① 〜入学からの約半年、深層学習の勉強からスタート〜

ほぼほぼ初心者の状態から、社会人博士課程に入学し、半年ちょっとがたったので、今までをまとめてみる。

 

入学を決めるまでの2年間も書いてありますので、よかったら読んでみてください。

(ただの日記になってしまっていますが)

 

ys0510.hatenablog.com

 

4月:入学式と研究テーマ決め

入学式、ほとんど年下ばかりなのかと思って、タメ口で話していたら、案外同い年で助教やポスドクの人がいると気づき、慌てて敬語に修正しました。

f:id:ys0510:20200806103545p:plain 

それから、月末にようやく研究テーマを決めました。もはや決めてもらったに近いレベルですが、先行研究の論文をできるだけたくさん読んだほうが良いかと思います。言葉で伝えるのは非常に難しいですが、習うより慣れろの精神で、たくさん読んでるうちに、残っている課題は何か、自分でできそうな工夫やオリジナリティはないかなどが見えてきます。

 

今はDeepLという非常に高性能な機械翻訳があるので、概要やアイディアは簡単につかめるかと思います。以下のサイトなどを参考にさせていただき、PCやタブレットを使ってある程度楽に読める環境を作るとよいかと思います。

 

英語論文読みを爆速にする、超便利ツール集

https://qiita.com/bezilla/items/774d4c2c4564053f6445

 

5月:ディープラーニングの基礎理論と実装の勉強

深層学習については何一つ知らなかったので、まずはgitにあるセマンティックセグメンテーションの実装例をもとに、動かし方や原理を勉強していました。

gitやブログ、論文で勉強していると、もはやその論文が完璧なんじゃないかと思っていしまい、自分に改善の余地を見つけられるのだろうか?という気になってしまいますが、リンクのように研究の流れを見つけられると、みんながどういった方向性で研究を進めているのかが少しずつ見えてくるような気がしました。

(私は音に興味があるので、画像のセマンティックセグメンテーションの方向性を勉強しても直接的には繋がらないのですが。)

 

https://github.com/mrgloom/awesome-semantic-segmentation

https://postd.cc/semantic-segmentation-deep-learning-review/

 

6月:隔週開催の一般教養科目の授業

土曜に一般教養の授業。隔週の授業で合計4回出席すれば単位がとれます。平日の授業はなかなか出席できないので、これくらいなら十分に通えます。

授業の内容は、人権について何かミニ研究や情報調査を行い、最後の授業でポスター発表を行いました。全部英語だったので、いかに英語が必須なのかを感じます。

 

 

7月:研究室内の中間報告会に向けて研究開始

翌月に迫る研究室内報告会に気付き、慌てて研究を始めました。

私は音に関する認識技術の研究を行っているので、いつまでも画像で練習しているわけには行きません。(博士課程なのにいつまで練習しとんじゃという感じですが。。) 

まずは、機械学習用のデータを集めたり、前処理に意外と時間がかかった。

 

これから音響関係の信号処理や実装を試してみたいという方には、このあたりのページがわかりやすくて役に立つかもしれません。

Pythonで音響信号処理

https://qiita.com/wrist/items/5759f894303e4364ebfd

 

8月:研究室内の中間報告会

実験結果自体はやっとの思いでなんとか形に。

中間発表は英語でしたが、半年間アメリカで研修していたこともあり、前日有休をいただくことで、なんとか対応できました。

ただ、もし英語に慣れていなかったら、もっと時間がかかったかもしれません。やっぱり、勝手のわからないことには時間がかかってしまうもんです。

(その後経験する論文執筆のように。。。)

 

博士課程に限らず、グローバル志向がある方は、常日頃から英語は勉強しておきいましょうね。私も含めてですが。。

 

10月:研究の進捗確認と方向性へのダメ出し

論文にするにはデータセットが貧弱すぎる、オリジナリティと思ってやっていた内容のパンチ力がないと言われ、2ヶ月を失った気分でした。。今思えばですが、何がオリジナリティなのか、どのレベルまでやれば論文として出せそうなのかがまったくわかっていませんでした。

話は変わりますが、当時、会社内で勉強会をやっていたのですが、内輪でなんとなくやっていたので、どのレベルを目指せばよいかが曖昧になってしまい、

 「とりあえず教科書読みました。」

 「とりあえず写経して実装してみました。」

になってしまいがちだったように思います。社外のレベルに揉まれて、他人にとって価値のあるアウトプットのレベルって、どの程度なのだろう?と、もっと考えて行動するべきだったように思います。

 

11月:人工知能学会内の研究会への申込み(この時点で進捗なし…)

パンチ力がないと言われた研究内容でしたが、研究会では発表してほしいとのことで、見切り発車で研究会の申し込みをしました。この時点で、締切まで3週間。

一切結果が出ず、不安で不安で発狂しそうになるも、原稿締切前日に奇跡的に性能向上が見られました。人に発表するレベルなのかわからないものの、涙が出そうになった。諦めなくてよかったと。

本田宗一朗さんが言っていましたが、「発明はすべて、苦し紛れの知恵だ。」だそうです。

未だこれといった業績になっておらず、オリジナリティを出したり、学問的な考察というのがいかに難しいかを知りましたが、まずは第一歩として、自分で決めた締切に世の中に出すことができたということが大事だと思っています。

 

 

 

まだまだ波には乗れていませんが、とても勉強にはなっているし、社会人になってから1番充実しているなと思うので、なんとか食らいついていきたいと考えています。

つづく。

 

 

ys0510.hatenablog.com