Saturday, March 19, 2022

연구 주제 선택과 현실적인 측면.

최근에 저와 같은 분야를 연구하는 학생 몇몇분들을 만나서 상담을 해드렸습니다. 나이를 먹을 수록 조언이라는게 참 무모한 행위라는 생각을 합니다. 그러면서도, 더군다나 저같이 음악을 연구하는 후배 연구자 분들을 보면 뭐라도 해드리고싶은 생각이 많이 참 많이 드네요. 상담을 하다보니 후배분들의 고민에 공통점이 있고, 제 생각도 사실 뻔하다보니 이래저래 겹치는 대화를 많이 했네요. 생각나는 내용을 간추려서 적어보겠습니다.

(이 조언은 제 연구분야(공대, 음악 인공지능)와 분야가 다를수록 쓸모가 없어집니다.)

연구 주제 선택과 현실적인 측면.

이미 운명적인 연구주제를 정하셨다면 이런 걱정 따윈 하지 않겠죠. 실제로 그런 경우는 드물고, 우리는 보통 여러 측면을 고려합니다. 

저의 가정: 당신이 재미를 느낄만한 연구 주제가 1개 이상 존재한다.

자. 그러면.. 재미가 있는 여러가지 연구 주제중에 졸업한 뒤에 어떻게든 도움이 되는 주제를 어떻게 찾아야 할까요?

접근 방법: 연구주제를 '문제' x '방법론'으로 나누어서 생각합시다. 예를 들어 "딥러닝을 이용한 음악 분류" 라고 하면 풀고자 하는 문제는 음악 분류가 되고, 이를 위한 방법론으로 딥러닝을 선택한 것이죠.

제안: 문제와 방법론 중에 하나쯤은 타협하시죠. 문제를 유명한걸로 골라서 푸는 경험을 쌓으면 아무튼간에 큰 도움이 됩니다. 반대로 인기가 별로 없는 문제라도, 사용한 방법론이 범용적이면 연구 분야를 조금 (?) 바꾸면서 (예: MIR → 음성, 비전, ..) 취직할 수 있습니다. 

몇가지 사실: 공대 대학원, 특히 박사과정의 의미를 '새로운 문제를 푸는 방법을 배우는 것'이라고들 정의합니다. 이 정의는 장기적으로 보면 맞는 말인데요, 즉 새로운 문제를 풀도록 기회가 주어질 때 까지 버틸 수 있는 경우에 성립합니다. 

그런데 박사 졸업 직후의 취직은 보통 그렇지 않거든요. 석사라면 더 심하구요.

따라서 회사에서는 당장 회사에서 풀려고 하는 문제를 풀어본 사람을 찾습니다. 아니면, 당장 회사에서 관심있는 기술을 써본 사람을 찾던지요. 음성인식 기술 개발이 필요한 회사에서 5년동안 음악 연구한 박사와 2년동안 음성인식 연구실에서 경험을 쌓은 석사를 비교한다면, 대부분의 경우 후자입니다. 회사에서는 그렇게까지 길게 볼 수가 없어요. 코앞에 쌓여있는 할 일이 너무 많아요.


그러므로 최소한 문제와 방법론 중 하나는 현실적인 기준으로 골라야합니다!



Tuesday, December 14, 2021


지난주에 뉴욕대학교 CDS(Center for Data Science)에서 초청강연을 했습니다.
11/27에 했던 한국음악지각인지 학술 세미나 기조강연 자료를 조금 더 보완했고, 데이터사이언스 대학원생을 대상으로 하는 강의라 포커스에 차이가 있습니다. 



이번에도 역시 아래와 같은 2x2 분류법을 제시했습니다.


MFCC도 간략히 설명했고..



컨브넷을 음악 분류에서 많이 쓰는 이유를, 소리의 3요소 중 하나인 음색과 연관지어 설명했습니다. 이상하게도 논문이나 블로그에 이런 자료가 잘 없습니다.




음악AI 연구자들의 향후 연구방향도 간단히 제시했습니다.






강의자료는 아래를 참고하세요.




Friday, December 3, 2021

인공지능의 음악 인지 모델 - 제65차 한국음악지각인지학회 기조강연



인공지능의 음악 인지 모델 - 제65차 한국음악지각인지학회 기조강연 (발표자 최근우, 바이트댄스)



Monday, November 15, 2021

연구 근황

지난주엔 ISMIR 2021이 있었습니다. 

올해 ISMIR는 특별히 공을 들였습니다. 우선 학회 시작하기 전에도 늘상 하듯이 논문 리뷰를 했습니다.

- 논문 리뷰
- LBD세션 논문 리뷰 및 멘토링


학회 기간동안은 공식적으로 다음의 활동이 있었네요.

- 학회 첫 참가자 그룹 리더
- 논문 4편 발표
- LBD 세션 논문 1편 발표
- 회사 소개 발표

오랜만의 학회 참여라 논문도 재미있게 읽고, 다른 참가자들과 오랜만에 만나서 이야기하니 무척 반갑더군요. 자극도 많이 받았고요.


---


11월 말에는 한국음악지각인지학회 학술세미나에서 기조강연을 합니다.
제목은 일단 정했는데 무슨 강연을 해야할지 걱정도 많이 되네요. 

<제 65차 한국음악지각인지학회 학술세미나>

일시: 2021년 11월 27일 토요일 오후 1시 30분 - 6시 00분

장소: 온라인 (Zoom)

<프로그램>

13:30-14:00 개회

 

13:40-14:40 기조강연  최근우 (ByteDance, Senior Research Scientist)

                                     "인공지능의 음악인지 모델"

14:40-14:50 휴식



---


12월 초에는 뉴욕대학교 조경현 교수님의 수업에서 초청강연을 합니다.


---


강연 자료, 영상 등은 강연이 끝나는대로 올리겠습니다.




Wednesday, November 3, 2021

Monday, October 18, 2021

바이트댄스에서의 1년

이 회사에 입사한지 어느덧 1년 2개월이 지났네요. 시간이 참..
빠르게 성장하는 회사와 팀에 있으면 정말 다양한 업무와 책임이 주어집니다. 저는 지금 팀 내에서 Tech Lead, Project Manager, Individual Contributor/Research Scientist 의 역할을 동시에 수행하고 있습니다. 여기에 잘 대처하여 제가 하고싶은 일을 하고 능력을 키우면서 일상 생활과 제 자신을 보존하는 것이 제 목표입니다.

---

14개월 동안 제 담당 업무로 총 5개의 모델을 배포했습니다. 전 직장에서 2년간 고작 1개의 모델을 배포한것과 비교하면.. 비교가 안되는 비교겠죠. 덕분에 정말 많이 배웠습니다.

현재 진행중인 인턴까지 인턴을 4명이나 지도했습니다. 다들 뛰어난 사람들이라 저는 제가 해줄 수 있는 일에 최대한 집중하고 있습니다. 주제 선정을 돕고, 데이터와 각종 정보를 물어다주고, 잡일도 하고, 회사 내외로 좋은 평을 받을 수 있도록 피드백을 해주었습니다.


프로젝트를 3개 이끌고 있습니다. 마무리한 프로젝트도 있고요. 상사, 프로덕트 팀, 저, 프로젝트 참가자들, 인턴들의 생각, 의도, 목표, 가치관, 능력이 전부 다릅니다. 어디서나 마찬가지겠죠. 제 의견이 옳다는 법도 없고, 설령 그렇다 하더라도 설득을 못하면 꽝이더군요. 성장하는 팀에 있는 덕분에 참 적절한 시점에 이런 경험을 하게되어 다행입니다.


팀이 너무 컸었는데, 저와 기존 상사 사이에 한 명을 뽑았고 그 사람이 지금 제 직속 상사입니다. 음악 연구 관련이 없는 분이라 저는 처음엔 조금 우려했습니다. 겪어보니 제가 속한 연구팀을 너무나도 잘 이끌고있어서 저야말로 매니저의 역할에 대해 아무것도 몰랐다는 걸 깨달았습니다.


팀에서 올해 논문을 많이 냈습니다. 저도 나름 기여했네요. 논문 제출 전에 서로 리뷰를 해주도록 엄청 열심히 주장했습니다. nC2로 모두가 참여한것은 아니지만 나름 효과가 있었습니다. 여러가지 운도 따라줘서 팀에서 ISMIR에 낸 7개의 논문이 전부 억셉되었습니다. ISMIR 총 논문수가 104편인걸 생각하면 엄청난 결과입니다. 전 직장을 포함한 모든 경쟁사를 완벽하게 압도하는 숫자입니다. 

저도 1, 2, 3, 4저자로 총 4개의 논문을 내게 되어 굉장히 기쁩니다. 한편으로는 올해가 운이 좋았고 내년에는 다시 흉작이면 어쩌나하는 생각도 드네요. 뭐, 어찌 되겠죠. 그리고 튜토리얼도 하나 하게 되었고, 회사 대표로 Industry Session에서 발표도 할 예정이라 학회 주간엔 정말 엄청나게 바쁘겠네요. 


주변을 보면 IC(Individual Contributor)로서의 역할과 리더십 역할(테크리드, 인턴 지도, 매니저 등)의 충돌 및 과부하때문에 고민하시는 분들이 많더군요. 저는 어째 그런 스트레스가 전혀 없는데, 아마도 IC로서의 역할에 큰 미련이 없어서 그런듯 합니다. 제가 엄청난 연구자는 아니었지만 유학가기전에 이루고싶었던 꿈을 대부분 이뤘는데, 그것도 애당초 제 꿈이 소박해서 그랬던것 같기도.. 아무튼, 프로젝트와 팀을 이끄는 일이 생각보다 너무너무 어렵고 중요한 일이라 거기에 더 관심이 가는 나날을 보내고 있는 4년차 Research Scientist가 되었네요.



Sunday, January 17, 2021

첫 직장 요약

---
2018년 7월 30일 입사.
하반기: 대충 놀면서 연구함
---
2019년 2월 첫 평가. 결과는 별로. 
4월 드러머넷 논문 제출
여름: 음성 관련 일 시작 (나중에 포기)
가을: 어쿠스틱 벡터 프로젝트 시작
겨울: 오토 레벨링 시작
---
2020년 2월. 해커톤에서 오토레벨링 마무리. 서비스로 올리고싶었으나 실패.
2월 평가는 잘 받음
3월. 어쿠스틱 벡터 마무리. 배포는 남에게 맡김
4월 JointISM 시작. Q2동안 진행.
5월 Instrumentify 데이터셋 만들기 시작
5월 바이트댄스 면접 진행
6월 오퍼 수락
7월 말 비자 완료
8월 초 퇴사
---