일부러 제목을 한번 거창하게 적어본다. (내용은 그리 거창하지 않다)

그리고 한번 더 거창하게 본 글을 “통찰” 이라는 카테고리에 분류해 본다.

(사실 통찰이라기보다는 스치는 생각이라는 표현이 더 적합할 것 같긴하다.)

학술적인 글은 전~혀 아니다!!

Long story short, 소크라테스가 제시한 “스스로를 알라”는 철학적 quest 공략법을 헤겔의 변증법적 사고와 베이지안 최적화에서 찾아본다.

지극히 개인적인 의견이다. 그러한 만큼 내용의 엄밀함 혹은 주장의 당위성이 본 글의 메인 관심사는 아니다 (~disclaimer~). 순서는 다음과 같다:

1. The Quest: Knowing myself
2. Relating to Bayesian Optimization
3. Back to the Quest

내 취미(??) 중 하나는 전혀 연관성이 없어 보이는 분야들 간의 공통된 패턴이나 인사이트를 찾아보는 것이다. 본 글도 그 연장선에 있으며 내가 한창 진로 고민이 많을 때 학교 통계 수업을 들으며 문득 떠오른 것이다. 사업으로 이미 여러 고배와 성공을 맛보며 나보다는 인생 경험치 스탯이 훨씬 높을 우리 광인회관 멤버들에게는 심심한 인사이트일 수도 있겠다만 🙂 읽기 귀찮으면 마지막 결론 파트만 봐주면 되겠다.

1. The Quest: Knowing Myself

나는 내가 어떤 사람이며 어떻게 살아가야할지에 대해 고민이 많고 그 과정을 즐긴다. 특히 선택의 기로에 놓일 때는 그 고민이 더욱이 가중된다.

그럴때마다 결국 내가 나 스스로를 얼마나 아는지가 매우 매우 중요함을 새삼 느낀다. “What is best for me?”를 알기위해서는 우선 “me”를 알아야한다. 스스로를 알라는 소크라테스의 명언대로 말이다.

말이 쉽지 나 스스로를 알아가기란 한평생이 걸리는 quest이다. 게다가 스스로를 직면해야하는 어떤 계기가 있는 것이 아니면 해당 quest의 존재 자체를 망각해버리기 쉽다. 삶의 ultimate quest 중 하나임에도 불구하고 말이다.

나는 여기서 이러한 계기에 관심을 가져본다. 계기를 어떻게 해석하고 어떻게 풀이하는지 만큼 중요한 것이 바로 그 계기의 빈도와 종류라고 생각한다. 앝은 고민이라도 좋으니, 추후 시행착오로 기억되어도 좋으니 일단 계기가 다양하고 그 빈도가 높아야 스스로를 다방면에서 “Explore”할 수 있으니 말이다.

그리고 이리저리 충분히 “Explore”해서 나라는 사람의 윤곽이 대략이나마 보이면 선택과 집중을 통해 “Exploit”을 하면 된다고들 얘기를 한다. 잘 “Exploit”하는 것도 중요하지만 초창기에 잘 “Explore”하는 것이 매우 중요할 것이다. 그럼 어떻게 “Explore”하면 될까?

여러 방법 중 헤겔의 변증법적 사고가 대표적이라 생각되며 그 외의 수단도 그 틀에 있어 헤겔의 사고법의 틀과 상이하지는 않을 것이다.

나에 대한 현재의 평가(“정”)를 기반으로 새로운 경험을 하고(“반”) 나에 대한 평가를 수정(“합”)을 하는 것이다. 그리고 수정된 평가를 새로운 status quo (“정”)로 삼아 위 과정을 반복하는 것이다. 여기서의 “반”은 앞서 얘기했던 계기와 같다. 어떤 계기를 경험하는지에 따라, 어떤 “반”을 경험하는지에 따라 정반합 cycle의 궤도가 크게 달라진다.

창업과정도 이와 같다고 생각한다.

시장에 대한 어떤 관점을 기반으로 가설을 세팅하고, 가설 검증을 해볼 수 있는 MVP를 구상해 이에 대한 시장의 피드백을 받는 정반합의 cycle의 연속이 창업의 중추를 이루지 않나 생각해본다. 여러 아이템을 위와 같이 “Explore”하고 위 cycle들을 통해 걸러진 괜찮은 아이템을 더 “Exploit”해보는 방식으로 말이다.

이와 같은 가설 테스트 cycle, 혹은 Exploration과 Exploitation 프로세스가 매우 자연스러운 또 다른 분야가 있다면 바로 베이지안 최적화이다.

2. Relating to Bayesian Optimization

베이지안 최적화(Bayesian Optimization)란 앞서 설명한 1.가설 테스트 cycle과 2.Exploration vs Exploitation 프로세스가 결합된 최적화 방식으로 대강 이해하면 쉽다.

위 그림을 예시로 우선 1.가설 테스트 cycle의 핵심인 “베이지안 통계”에 대해 설명해보겠다.

나는 한국인 남성의 키가 이루는 분포가 궁금하다고 해보자.

• Prior belief (orange): 우선 한국인 남성 키의 분포가 (평균: 165cm, 표준편차: 10cm)의 정규분포의 형태를 취한다는 믿는다.
• Likelihood (blue): 이러한 기존의 가설하에 어떤 한 집단을 조사해보니 그 집단은 (평균: 175cm, 표준편차: 5cm) 의 정규분포의 형태를 보임을 관찰했다.
• Posterior belief (green): 기존의 가설과 새로운 데이터를 종합해 한국인 남성 키의 분포가 (평균: 170cm, 표준편차: 7cm)라는 가설을 받아들이고 위 과정을 반복한다.

이와 같이 “기존 가설(정) + 데이터(반) => 새 가설(합)”의 방식으로 진행되는 통계기법을 “베이지안 통계”라고 한다.

이런 점에서 “베이지안 통계”는 앞서 “1. The Quest: Knowing Myself”에서 얘기한 “가설 설정 -> 가설 테스트 -> 가설 업데이트 -> 가설 설정 …”의 연속적인 cycle과 많이 유사하다.

이제 베이지안 최적화의 2.Exploration과 Exploitation 에 대해 설명해보겠다.

Exploration과 Exploitation은 prior belief 하에 어떤 새로운 데이터를 관찰하면 좋을지를 고를 때 관여되는 개념이다.

여기서 Exploration이란 헛걸음의 위험을 감수하고 아예 새로운 데이터를 관찰하려는 것이고(high risk, high return), Exploitation이란 기존에 관측된 데이터 중에 가장 괜찮아 보이는 데이터와 유사한 데이터를 선택해 관찰해보는 것이다(low risk, low return).

Again, 엄밀한 설명은 아니지만 대~강 느낌은 그렇다 😉

위 그림을 예시로 들어보자.

나는 현재 눈을 감고 등산을 하는 중이며 주어진 범위 내에서 가장 고도가 높은 산봉우리를 찾으려 한다고 하자. 다만 내가 밟았던 위치(좌표)와 그 높이는 전부 기억하고 있으며 어떤 위치로든간에 좌표만 입력하면 해당 위치로 순간이동할 수 있다고 해보자.

현재 나는 좌측 산봉우리(local maxima)의 중턱에 서있다. 이제 크게 두가지 선택지가 있다.

1. Exploitation: 일단 현재 평지보다는 높은 위치이니 내 현위치의 근방을 찍으면 좀더 높은 곳으로 이동할 가능성이 꽤 있다.
2. Exploration: 아예 더 높은 산봉우리가 있을 것이라는 믿음에 현재 있는 산봉우리와는 동떨어진 좌표로 이동할 수도 있다.

베이지안 최적화에서는 explore 혹은 exploit의 여부를 사용자 마음대로 조절할 수 있다. 물론 prior belief하에 explore/exploit여부와 관측할 데이터를 선택하게 된다. 그렇기에 아무 belief가 없는 상황에서 랜덤 뽑기하는 상황보다는 대개 결과가 낫다.

여기서 베이지안 최적화가 지닌 몇가지 특징을 정리해본다:

• Exploitation의 비중이 크면 local maxima에 안착하게 된다.
• Exploration의 비중이 크면 local maxima에 빠질 위험은 적지만 비용이 많이 든다.
• Exploration은 기존에 봐왔던 데이터와는 다른(orthogonal) 데이터를 고르는데에 의의가 있다.
• 데이터 히스토리가 커질 수록 prior belief에 대한 bias는 커진다.
• 정반합에서처럼 태초의 “정”은 설정을 해줘야만 한다 (like 수학적 귀납법)
• 내가 찾은 maxima가 local 인지 global인지는 사전에 알 수 없다.

베이지안 최적화에서의 이 점들에 유의하며 우리 본래 Quest로 돌아가본다.

3. Back to the Quest

베이지안 최적화에서의 인사이트를 스스로를 알아가는 quest에 대한 일종의 공략법으로 (살짝 억지로) 간주해보자면 다음과 같은 전략을 세워볼 수 있다.

• 초반부터 한 종류의 경험이나 판단에 의지하면 나에 대한 국소적인 이해 혹은 착각으로 마무리될 수 있다.
• 경험의 다양성에만 치중하면 나에 대한 피상적인 이해만 할뿐 어떠한 결론을 내릴 수 없다.
• 새로운 경험을 하려면 말 그대로 기존의 경험과 다른 dimension상의 경험이 좋을 듯 하다.
• 시간이 지나면 지날 수록 나는 내 과거 경험을 기반으로만 나를 이해하려한다.
• 막연하게라도 좋으니 우선 처음에는 나에 대한 관점을 수립해야만 추후의 정반합 cycle이 진행될 수 있다. 초기 “정”이나 “합”이 부재해서는 아무리 많은 “반”을 경험해봤자 cycle이 굴러가지 않는다.

적어보니 꽤나 당연한 내용들이다.

하지만 베이지안 최적화에서도 재확인해볼 수 있었던 내용들인 만큼 개인적으로 더 공감이 되는 내용인 듯 하다. 그리고 지금까지 내가 위와 같이 살아왔는지 반추해보기에도 괜찮은 내용이라고 생각한다. 이 반성은 다음 글에 한번 다뤄보겠다 🙂

결론은:

나라는 사람을 잘 모르겠으면 최대한 다양한 경험을 explore해서 나를 알아보자.

그리고 경험의 선택에 있어 이왕이면 지금껏 경험한 것과는 상이한 것을 추구해보자.

그렇다고 해서 아주 동떨어진 경험 만을 랜덤하게 추구하는 것은 시간 낭비이다. 어디까지나 현재 내가 지닌 나에 대한 이해를 prior 전제로 삼아 그 전제 하에 내게 가장 좋을 것이라 생각되는 경험을 먼저 추구하자.

그리고 그 경험을 한 뒤에 혹시 나의 이해에 대해 업데이트된 사항이 있으면 이를 posterior로 위와 같은 정반합 cycle을 반복하자.

시간이 갈수록 이미 쌓인 경험에 더 큰 가중치를 두는 경향이 있고 현재의 내 판단이 착각(local maxima)일 수도 있으니 섣부른 exploitation혹은 결론은 금물이다.

혹시 위 정반합 cycle을 제대로 시작하지 않은 상태이면 막연하게라도 좋으니 내가 어떤 사람인지에 대한 관점(“정”)을 일단 수립해보고 이런저런 경험을 추구하자.

(P.S. 마지막 내용은 이전 두나무앤 파트너스 VC에서 근무할 당시 임수진 파트너님께서 말씀해주신 것과 비슷하다. 회사 대표와의 미팅에 앞서 사전에 받은 사업계획서가 이해가 혹시 잘 안될지라도 우선 막연하게나마라도 perspective를 수립한 후 미팅에 참석하기를 권유하셨다.)

글을 써보고 나니 여기저기 서툰 궤변의 스멜이 난다.

Anyways, 앞의 disclaimer에도 썼듯이 가볍게만 읽어주었길 바란다 🙂