Fox village by aki310

For the future of someone, somewhere

JPHACKS2017体験談メモ

先週JPHACKSに参加してきました.布教とメモを兼ねて体験談を綴ります.

 

理学部の後輩と2人チームでエントリーしました.彼とは某生物系コンテストで一緒に戦った仲で,こういった開発系イベントに興味があり,作ってみたいものがあるということで乗ってくれました.(個人で参加するにはハードルが高く,また私自身機械系であまり実装力・プログラミング力がなく組んだ方に迷惑をかけるのもアレだし,彼なら最悪失敗しても一緒に被ってくれるでしょう!!ということで彼にはかなり助けられました)

 

事前に軽くアイディア出ししたところ,共感覚と再現とか音楽の可視化とかバックダンサーの自動生成とか二人とも音声や映像でパフォーマンスしたいね~と話していました.とりあえず後輩君がDJやってて,ある曲のドラムやポーカルを抜きとるシステムが欲しい,またそれで自由に色々な曲の一パートを寄り添って新しい曲作りたい,という希望があったのでそれでいくことにしました.

ということでpythonで音楽を処理する練習をして,あとは当日ドラムやギターなどの音源を機械学習し,そこに曲を流して「演奏している楽器とその時間」の情報を得て,それらを除きたいね,と予定()を立てました.

 

当日,行ってみると(10分遅刻)メンバーを追加してほしいとの要請をうけ,急遽高専の方が加わりました.軽く打ち合わせをして始めたのですが,どうも音声認識APIが上手く使えず,なかなか進まない.私以外にpythonを使える人もいないしグループとしてうまく進められない感を感じもやもら.ここで急遽,追加メンバーの方がunityandroidstudioの扱いに長けているとのこので,unityでセンサデータをもとに音声処理をしてDJっぽいことをしよう,という話になりました.ここで一日目17時.やばい.

アルゴリズムを決める係,Unityで単純にプログラムする係,方針や意思決定,wiki動画を作る係にわかれ急ピッチに進め,一日目解散時刻の20時に何とかセンサデータをUnityで扱い,フィルタをかけれるようになる.良かった.とりあえず4時間30分は寝ることを合言葉に解散.

 

2日目は淡々と今できることを進め,Wikiと動画をまとめました.やっぱ技術なきアイディアは意味ないなあと感じました.動画も14時に素材が揃い,14時50分に全体像が完成.(しかし50MBくらいあってYoutubeに挙げるとちらつきエラー.結局低品質化しまくって5MBくらいで上げたら大丈夫でした.)

しかし動画の完成を意識しすぎてプレゼンの構成が準備不足で,機能を1/3しか説明できずに終了.

当日賞とか考えると,あんまりwikiとかみないので,いかにプレゼンで伝えるかが大事だったなという印象でした.(でも他のチームは技術的にすごいことやってるとこばっかだったので順当という感じです.一日で機械学習のモデル組むとかアプリの形にするとか機械系には想像できない)

色々あったけど終わった後「また機会があれば参加したいね」,って言い会えたので

良かったです.