쟈누이의 기록습관

위 강좌를 듣고 추후에는 개별적으로 데이터 파이프라인과 연관된 대시보드를 만들고자 한다. 그에 앞서 강좌의 내용들을 정리할 예정이다 1. 데이터팀의 역할 1) 데이터 조직의 목표 데이터를 내부 데이터 베이스에 저장 ( 프로덕션 데이터베이스) 외/내부 데이터를 수집해서 한군데에 저장(데이터 웨어하우스), 프로덕선 db 와 별도의 db 를 사용 데이터를 추출하여 원하는 형태로 변형 후 데이터 웨어하우스에 적재 하는 작업을 etl 작업이라 불린다 2) 데이터 엔지니어의 업무 외부의 데이터를 추출하여 원하는 형태로 변형하여 dw 에 적재하는 작업을 하는 인원을 데이터 엔지니어라고 부른다. 데이터 분석용 dw 를 만들고 관리하는 것이 데이터 엔지니어의 첫번째 업무 dw 에 실제로 데이터를 적재하는 etl 업무를 ..

문득 생각이 들었던 것이 있었다. 벡엔드, 데이터 엔지니어 둘의 차이가 무엇일까 고민을 하고 있는 시기이다... 아무래도 현재 신입 개발자로서 진로를 이 부분으로 잡고 있기때문에 고민이 많은 것 같다.. 시간이 날 때마다 이 고민을 하고 있는데.. 문득 이 JSP 를 공부하다가 이 생각이 들었다.. " 결국 서비스는 로그를 생성하고 그것을 처리해서 의미있는 데이터로 만들어내는 것이 회사에는 중요한 것인데 굳이 그것을 구별하려고 한다는 것이 의미가 있을까? " 였다.. 생각해보자면 최근에는 컨버전스라고해서 이질적인 분야들의 경계도 모호해지고 있고 하물며... 개발 분야에서도 풀스텍 개발자다 뭐다 해서 전부 다 할 줄 아는 개발자들이 등장하고 있는 판국에..백엔드냐, 데이터 엔지니어냐, 프론트냐 구별하고 굳..

- 대량의 데이터를 신속하게 집계하려면, 미리 데이터를 집계에 적합한 형태로 변환해야 한다. 1. 데이터베이스의 지연 줄이기 데이터의 양이 증가할 수록 집계하는데 시간이 길어진다. 이는 작업의 효율을 떨어뜨리며, 전체적으로는 모든 작업이 느려지는 원인이 된다. 데이터의 수집단계에서는 위 사항은 우선순위로 고려하지 않아도 되지만, DB( 데이터 레이크, 데이터 웨어하우스 ) 에서 데이터를 추출하여 분석하는 단계에서는 위 문제를 해결하는 것이 매우 중요하다. 1) 데이터의 처리 지연 - 지연이 적은 데이터 마트 작성을 위한 기초 지식 데이터 지연이 적은 데이터베이스를 만드는 방법은 두가지가 있다. 첫째, 모든 데이터를 메모리에 올리는 것 - 가장 간단한 방법이며, 적은양의 데이터를 올리는 것은 큰 문제가 되..

- 빅데이터 탐색에 있어 중요한 것은 우선 큰 그림을 파악한 후에 점차 세부사항으로 깊게 들어가는 것이다. 1. 데이터의 모니터링 (프로젝트의 현재 상황 파악) - 모니터링이란 보다 계획적으로 데이터의 변화를 추적해 나가는 것이다. - 데이터의 변화가 예상과 다르다면, 행동을 해야되는 데 여기에는 사람의 판단이 중요 - 데이터로 상황 파악 후, 얻어진 통찰에 따라 세부 사항을 체크해서 문제를 해결해야 한다. 2. 데이터에 근거한 의사결정 (KPI - Key Performance Indicator 모니터링) - KPI 수치 파악을 통해 현재의 수치가 다음 행동에 어떤 영향을 끼칠 것인지 파악하는 것이 중요 3. 변화를 파악하고 세부 사항 이해하기 (BI 도구 활용) - BI 도구를 통해 변화를 파악하고, ..

데이터 엔지니어로써 시작한지 어느덧 6개월에 접어들고 있다.. (완벽한 데이터 엔지니어라고 부르기에는 개발자에 조금 더 가까운 애매한 포지션이지만 ㅎㅎ..) 시간이 빠르다면 참 빠르지만 신입이기 때문에 아직도 어떤 것을 공부해야 되는지 혼란이 온다.. (뭐 삽질 많이 한덕에 크게 잡아가고 있지만.. 아직도 삽질하고 있는 부분이 있긴 하다..) 비 전공자로써 시작을 했고 나이도 이제 어느정도 있다고 생각을 하고 있기에.. 조급한 모습이 보이긴한다..(이럴 때는 컨트롤이 힘들다.) 그러던 중 우연히 한 유튜브 영상을 보았는데, https://www.youtube.com/watch?v=ly7UabPJNvs 이 영상을 보고 나서 어느정도 정리가 되가는 느낌이다.. 영상의 요점은 1. T 자로 경력을 관리해라 2..