쟈누이의 기록습관

1. 질문 문답 1) 커리어를 계속해서 발전시키고 싶다면?(1) 건강한 몸과 마음이 중요 어떤 기술을 아느냐가 아닌 결과를 내는데 초점 내가 하는 일에 결과를 내는데 필요한 기술의 배움에 초점 1) 커리어를 계속해서 발전시키고 싶다면?(2) 요즘 세상의 전문성이란? 변화를 두려워하지 않는 마인드셋이다. 자신감을 갖고 나에게 무슨일이 주어거나, 하고싶은 일이 있으면 나는 그것을 할 수 있다 라는 자신감을 가진다.. 이는 작은일이라도 결과물을 내면서 키워지게 되어 있다. 전문성이란 변화를 두려워하지 않고 도전하는 마인드셋 한방에 끝내려고 하지 않기. 한방에 끝내지 말고 어디서 시작하던 언제든지 배우고 멈춘거 같으면 그것을 타계할 방법 찾아보기, 더 배울 수 있는 곳으로 갈것인가, 아니면 새로운 것을 시작할것..

데이터 엔지니어의 일주일에 대해서 배웠다. 이렇게 흘러간다! 는 아니지만, 대략 데이터 엔지니어가 어떻게 일을 하는지 알 수 있었으며, 내가 앞으로 일을 함에 있어서 어떻게 적용하면 좋은지 고민해 볼 수 있었던 유용한 시간이었다. 1. 데이터엔지니어의 일주일 보기 1) Sprint 데모 미팅 2주동안 무슨일을 할것인지 계획을 세움 ( 2주라는 기간이 절대적인 것은 아니다 ) 지난 2주 동안 무슨 일을 했는지 점검하는 시간을 갖음 과업을 진행하거나 달성함에 있어서 어떤 점이 부족했는지 점검 2) Sprint 회고 데모 미팅과 비슷하게 어떤 일을 했는지 서로 공유 이 과정에서 어떤 점이 부족했고 어떻게 보완해야되는지 체크 3) Sprint 플래닝 시 주의사항 40% 의 시간은 인프라 코드의 리펙토링에 사용 ..

1. 개요 watch 에서는 필요에 따라 로그 데이터를 접근성이 편리한 rdb에 저장하거나, 여러 외부 솔루션을 적용하여 다양한 패턴 분석을 통해 서비스 개선을 하고 있다. 하지만, 서비스가 성장함에 따라 로그 데이터가 빠르게 증가하면서 기존에 구축된 방식을 이용해서는 분석이 어려워져 빠른 개선이 필요한 상황 로그를 한곳에 통합, 데이터를 빠르게 분석하고, 어떠한 환경에서도 유연하게 수집 및 가공이 가능한 시스템 구축이 필요 2. 프로젝트 목표 1) 로그를 한곳에 통합, 로그를 한곳에 저장 빠르게 분석 가능한 구글 빅쿼리 사용 구글 솔루션인 firebase, google analytics 등 클라이언트 영역에서 발생하는 로그들도 손쉽게 bigquery에 통합 가능 Web, app, server 등 모든 ..

카카오 파이프로스트 프로젝트 추후 해당 링크를 통해 다시 스터디 할 것 if.kakao.com/session/116 if(kakao)2020 오늘도 카카오는 일상을 바꾸는 중 if.kakao.com 1. Streaming? Pipeline? 1) 로그 파이프라인 로그 파이프라인이란 데이터 처리 단계의 출력이 다음 단계의 입력으로 이어지는 구조 로깅 이벤트 시퀀스를 처리하는 플로우 Source 와 destination 이 있는 데이터 흐름 로그 데이터 전송과 변환을 자동화(최근에 추가된 정의) 2) 스트리밍 데이터의 연속적인 흐름 데이터 흐름 안에서 의 연속적인 연산과 처리 Real time Like video streaming 로그 파이프라인에 비해 실시간성이 매우 강조되는 것 3) Batch vs St..

데이터분석직군지원할때 포트폴리오 관련... 깃허브링크 말고 플젝한것들 포트폴리오로 제출하라는 회사들이 종종 있다. 이럴때는 포트폴리오의 흐름을 어떻게 잡아가고 얼마나 디테일하게 써야될까..? 아는 분에게 들었던 것을 간단히 정리하자면 포트폴리오는 10장이내로 보통 진행하며 지원하는 회사&포지션에 맞게 프로젝트 구성을 달리하는 것이 기본이라고 한다 프로젝트를 정리할 때, 반드시 1장에 압축할 필요는 없지만 프로젝트별로 2장, 많으면 3장정도로 핵심적인 것만 추려서 정리하면 더 좋을 포트폴리오를 만들 수 있다. 만약에 지원자가 진짜한건지 팩트체크가들어올 경우에는 면접에서 문제가 되는 부분이기에 문제는 안되지만, 면접 때 조리있게 말할 수 있도록 정리하는 것이 필요하다. 그걸 위해서 전체적인 그림이 그려지게끔..