쟈누이의 기록습관

1. redshift 소개 1) dw 는 무엇인가 기본적으로 sql 이 기반이 된다. 맵리듀스가 나왓어도 sql 기반의 데이터 처리의 중요성은 없어지지 않았다. 데이터 베이스 시스템은 50년 이상되엇고 굉장히 성숙해잇음, 하지만 맵리듀스는 짧은데다 굉장히 복잡하고 문제 해결 능력이 떨어지니 그 위에 데이터 베이스 시스템을 구현한 것이 하이브 맵 리듀스가 진화한 것이 스파크 이며 동시에 여러가지 기능을 실행가능한다. 구조화된 데이터 처리에 있어서 sql 만한 것이 없다. OLAP : 내부에서 데이터 처리를 위한 DB OLTP : 외부에서 데이터 처리를 위한 프로적션 DB 2) scalable sql engine in aws 모든 db 은 pk 를 지정할수 있는데 반해, dw 는 이를 보정안해줌 왜냐하면 이..

데이터 엔지니어의 일주일에 대해서 배웠다. 이렇게 흘러간다! 는 아니지만, 대략 데이터 엔지니어가 어떻게 일을 하는지 알 수 있었으며, 내가 앞으로 일을 함에 있어서 어떻게 적용하면 좋은지 고민해 볼 수 있었던 유용한 시간이었다. 1. 데이터엔지니어의 일주일 보기 1) Sprint 데모 미팅 2주동안 무슨일을 할것인지 계획을 세움 ( 2주라는 기간이 절대적인 것은 아니다 ) 지난 2주 동안 무슨 일을 했는지 점검하는 시간을 갖음 과업을 진행하거나 달성함에 있어서 어떤 점이 부족했는지 점검 2) Sprint 회고 데모 미팅과 비슷하게 어떤 일을 했는지 서로 공유 이 과정에서 어떤 점이 부족했고 어떻게 보완해야되는지 체크 3) Sprint 플래닝 시 주의사항 40% 의 시간은 인프라 코드의 리펙토링에 사용 ..

위 강좌를 듣고 추후에는 개별적으로 데이터 파이프라인과 연관된 대시보드를 만들고자 한다. 그에 앞서 강좌의 내용들을 정리할 예정이다 1. 데이터팀의 역할 1) 데이터 조직의 목표 데이터를 내부 데이터 베이스에 저장 ( 프로덕션 데이터베이스) 외/내부 데이터를 수집해서 한군데에 저장(데이터 웨어하우스), 프로덕선 db 와 별도의 db 를 사용 데이터를 추출하여 원하는 형태로 변형 후 데이터 웨어하우스에 적재 하는 작업을 etl 작업이라 불린다 2) 데이터 엔지니어의 업무 외부의 데이터를 추출하여 원하는 형태로 변형하여 dw 에 적재하는 작업을 하는 인원을 데이터 엔지니어라고 부른다. 데이터 분석용 dw 를 만들고 관리하는 것이 데이터 엔지니어의 첫번째 업무 dw 에 실제로 데이터를 적재하는 etl 업무를 ..

현재 사이드 프로젝트를 위해 장고를 공부하고 있다.. 책을 사기도 했지만 회사 업무로 인해 책을 볼 시간이 많이 없어 강의를 찾아보게 되었는데.. 시간도 짧고 요약도 잘 되어있는 것 같아서 우선은 급하게 틈틈히 공부하기 좋은 사이트를 아래 링크에 걸어두어야 겠다. 나중에 틈틈히 참고해서 공부해야지 참고 링크 programmers.co.kr/learn/courses/6 장고를 활용한 웹사이트 만들기 이 강의는 최신 버전의 장고를 활용하고 있지 않아, 최근 사용되는 장고와 차이가 있습니다. 장고를 배우고 싶으신 분은 다른 튜토리얼 사이트를 이용하시길 추천합니다. 카카오톡 친구해요! 프 programmers.co.kr