글또를 시작하면서
글또를 시작하면서
2018.11.11글또 글또를 시작하며 작성하고 싶은 글 이것저것 하고 있었던 일이 많았고, 하고 싶은 일도 많으므로 데이터 엔지니어링 관련 글만 쓰진 않으려고 한다. 특히 데이터 엔지니어링과 데이터 분석 관련 글은 칼로 무 베듯 나누기도 쉽지 않다고 생각한다. 글을 작성하면서 대략적인 목차를 보니, 속된 말로 잘 팔릴만한 콘텐츠가 부족해 보여서 조금 걱정은 된다. 그래도 우선은 최대한 내가 쓰고 싶은 글과 읽는 사람의 관심사의 균형을 잘 맞춘 글들을 써보려고 한다. 데이터 엔지니어링 과정 중 데이터 전처리 때 여러 가지 수학 및 통계학을 사용할 수 있다 데이터 분석 과정에서도 파이프라인과 같은 데이터 엔지니어링의 기법을 빌릴 수 있다 Spark & Hive 배치 용도로는 Spark를 Adhoc한 분석 용도로는 Hi..