데이터 엔지니어의 2019년 회고

2019년은?

항상 회고 글은 작년 글을 작성한 것이 엊그제 같은 데라는 말로 시작하는 것 같습니다. 1년이 또 이렇게 쏜 화살처럼 지나갔네요. 2019년은 많이 행복했지만, 정신적으로는 꽤 힘든 해였습니다. 우선 1분기를 제외하고는 각 프로젝트의 산출물을 실제 Coupang의 실제 서비스에 반영해서 고객 경험을 향상할 수 있었던 것은 결과적으로는 꽤 행복했습니다. 그러나 시간 관리를 잘하지 못했고, 생각지 못한 업무 역할의 변경이 있으면서 엔지니어로서 목표했던 공부량을 많이 채우지 못한 것이 가장 아쉽습니다. 엔지니어로서는 아쉬웠지만, 프로젝트 Lead를 하면서 아키텍처 설계, 우선순위 조정, Task 할당 등 그전까지 신경 쓰지 않았던 부분도 많이 배울 수 있었습니다.

1분기

가장 놀랄만한 소식은 역시 회사 내에서의 진급이었던 것 같습니다. 전혀 예상도 하지 못했고, 저 스스로 느끼기에 여전히 부족한 사람이라 생각했기 때문에 2019년 시작과 함께 공지된 진급은 꽤 놀라웠고 부담도 되는 일이었습니다. 상위 조직장이랑 커피를 마시면서 얘기를 했을 때, 주도적으로 논문 구현이나 팀 내부에서의 스터디 등 적극적인 모습이 좋은 인상을 준 것이 컸다고 슬며시 궁금해하는 저에게 말해주더군요. 뭔가 진급을 했으니 더 잘해야겠다는 이런 마음이 커서 그랬는지는 몰라도, 다소 조금 했는지 업무적으로 성과는 거의 내지 못했던 분기였던 것 같습니다. 다만 팀이 합쳐지면서 평소에 같이 일해보고 싶었던 시니어 엔지니어와 짧게나마 토론하고 일해본 것은 즐거웠던 것 같네요.

2분기

2분기가 시작하면서 플래닝을 했고, 그전까지와 다르게 Task를 좀 더 나누어 Task마다 프로젝트 Lead가 한 명씩 생기게 되었습니다. 사실 제가 제안한 프로젝트는 엎어졌지만, 랭킹과 추천시스템에서 발생하는 Cold start 문제를 완화하는 프로젝트에 소속되면서 동시에 Lead를 맡게 되었습니다. Lead로 업무를 진행하면서 단순히 개발만 하는 것이 아니라 문제 정의부터 우선순위 조정, Task 할당 등 그전까지는 신경 쓰지 않았던 업무들이 추가되었습니다 ㅠ_ㅠ. 팀장으로서 행운이었던 것은 2분기에 모인 팀원분들이 각각의 영역 (백엔드 개발, 데이터 파이프라이닝, 데이터 모델링, 검색 엔진 튜닝 등)에서 120% 능력을 발휘해주신 것입니다. 저도 처음 하는 부분이다 보니 중간에 처음 설계가 깨지면서 거의 처음부터 다시 파이프라이닝과 백엔드 개발을 하는 등 팀원분들이 너무 고생하셔서 제가 많이 미안했었습니다. 결과적으로 프로젝트는 아주 성공적으로 끝나면서, 일부 조건에 대해서는 Cold start 문제를 완화할 수 있었고 제가 퇴사하는 시점에서도 활발하게 실 서비스에 적용되고 있어 뿌듯한 마음을 가졌습니다.

3분기

2분기에 이어서 3분기에도 검색 품질 개선 프로젝트로 팀을 Lead 하게 되었습니다. 앞서 2분기의 프로젝트가 다소 Business 팀과의 협업이 중요했다면, 이번 분기의 프로젝트는 기술적인 문제 해결이 거의 메인이 되는 아주 성격이 다른 프로젝트였습니다. 사실 2분기의 프로젝트가 꽤 성공적으로 끝났기 때문에, 저는 프로젝트 Lead로서 자신감도 어느 정도 있었고 역시 비슷한 방식으로 팀을 리딩하려고 했던 것이 결과적으로는 썩 좋지 않았던 것 같습니다. 우선 개개인의 성향이 달랐다는 점을 다소 간과했고, 2분기의 프로젝트와 달리 하나의 문제를 포커싱하는 부분에 대해서는 개개인이 작업하는 것보다 아이디어를 공유 후 하나의 모델을 같이 협업해서 정교화하는 것이 돌이켜보면 좀 더 좋았을 것 같다는 생각이 들었습니다. 2분기 & 3분기 Lead를 통해서 프로젝트 리딩도 은 탄환은 없구나라는 것을 다시 느끼게 됐으며, 나중에라도 제가 다시 이런 포지션에서 일하게 된다면 같은 실수는 하지 않겠다고 생각하게 되었습니다. 3분기는 이런 저의 판단 오류로 제가 처음에 생각했던 것만큼의 성과는 내지 못했던 것 같습니다. 겨우겨우 1개의 Test만 실제 서비스에 반영하게 되어 너무 아쉬웠던 프로젝트였습니다.

4분기

배운 것도 많았고 성과도 냈지만, 프로젝트 Lead를 하면서 체력 그리고 정신적으로 많은 스트레스를 받았습니다. 본디 저는 살이 잘 찌지도 빠지지도 않는 체질인데 (고등학교 이후로 쭉 비슷한 체중을 유지했었음), 4분기에 들어선 시점에서 살이 약 3kg 가까이 빠지고 주위 사람들도 살이 너무 빠졌다고 할 정도로 피로한 상태였습니다. 실제로 기회가 될 때마다 상위 매니저에게 프로젝트 Lead를 그만두고 싶다고 얘기했었고, 드디어 4분기에는 온전히 엔지니어링에만 다시 집중할 수 있게 되었습니다. 4분기에는 Coupang Rocket Fresh에 최적화된 랭킹 업무를 하게 되었는데, 앞선 프로젝트들과 달리 외국인 엔지니어와 협업할 일이 많았습니다. 그 과정에서 서로 커뮤니케이션이 잘되지 않아 불필요한 오해도 샀었고, 프로젝트 Lead를 할 때와는 또 다른 불편함이 있었습니다. 결과적으로는 제가 A/B test를 할 수 있는 파이프라인을 뚫고, 간단한 랭킹 모델을 통해서 좋은 결과를 얻을 수 있었습니다. 마지막으로 4분기를 진행하면서 가장 큰 이벤트는 약 3년간 다녔던 Coupang을 떠나게 된 것입니다. Coupang에서 데이터 파이프라인부터 모델링, 검색엔진 최적화 등 많은 업무를 할 수 있었지만, 매너리즘 해결과 좀 더 통계모델링에 집중할 수 있는 업무를 원했기 때문에 2020년부터는 Kakao에서 Machine learning engineer로 출발하게 되었습니다.

2020년은?

한동안 기술적으로는 Spark를 활용한 데이터 파이프라이닝, 기술 외적으로는 프로젝트 매니징 등에 집중하면서 통계학이나 Machine learning/Deep learning에는 소홀했었습니다. 2020년에는 많은 욕심을 내지 않고, 통계학부터 차근차근 다시 공부하려고 합니다. 아마도 새로운 팀에 계신 동료분들과 다시 스터디를 진행하지 않을까 싶네요. 추가로 2019년에 건강이 꽤 좋지 않았기 때문에, 매주 하는 사회인 야구 외에도 추가로 운동을 통해서 건강을 좀 더 챙기려고 합니다. 2020년 회고에는 좀 더 많은 기술적 성취 및 보람을 남길 수 있었으면 합니다 ^^