23.07.26 클라이언트 정기 배포중에 배운 것들 기록

오늘 클라이언트 정기 배포 중에 배운 것들 기록

 

1. 데이터 파티셔닝 전에는 항상 기준 테이블을의 분포를 점검해보자

-> 이 부분은 맨날 강의, 유튜브 등에서 많이 듣던 파티셔닝 전에는 항상 데이터의 분포를 봐야한다는 것의 전형이었음

-> 파티셔닝을 통해 데이터를 쪼개서 빠르게 수집하려는 의도였는데, 하필 선택한 기준 컬럼이 skew 가 왼쪽으로 엄청나게쏠려 있는 테이블이었음..

-> 파티셔닝을 해도, 특정 범위 내에만 데이터가 몰려있으니 수집이 빠르게 될 리가 없음

-- 파티셔닝을 진행하기 전에 무조건 파티셔닝할 컬럼의 데이터 분포도를 확인하고 선택할 것!!

 

2. 파티셔닝하는 컬럼의 skew 가 한쪽으로 쏠려 있으면, 파티셔닝을 하는 의미도 없음

-> dpu, worker 수를 늘려도 아무런 소용이 없음

-> 다른 파티션에 데이터가 몰리게되고, 그 파티션을 담당한 dpu, worker 만 일을 수행하고 나머지 dpu,worker 들은 일을 안함

-> 하느나만 못하다....(1번과 연결)

 

 

3. 로그는 보지맑고 읽어라 

-> configure 를 설정할 때, 다른 에러 메시지가 떴음

-> 에러 메시지를 보고 당황해서 뭐지.......안들어왓음

-> 잠시 가슴을 가라 앉히고 메시지를 천천히 읽도록 하자

 

 

4. 항상 프로그램이 돌아가는 걸 까보는 습관을 가지자

-> 이게 가장 중요한 습관

-> 엔지니어가 에러를 찾고, 개발을 하고, 모니터링을 하고, 클라이언트에게 설명할 때는 그 프로그램이 어떻게 돌아가는지 어떤 원리로 진행이 되는지를 알고 있어야 함

-> 이것이 비즈니스 프로세스를 이해하고 있어야 한다는 말과 일맥상통

 

 

5. 운영에서 배포 등의 작업을 할 때는 가만히 있지 말고 변경이 잘 되고 있는지 확인

-> 가만히 있으면 안된다, 빠르게 상황에 대처하기 위해서는 항상 배포 시 확인하는 습관을 가져야 한다

 

 

6. 변경이 잘 되는지 확인 및 배포 후에는 로그를 통해 내가 변경하려는 사항들이 잘 반영되었는지 확인

-> 성공이 떴다고해서 잘 됐겠거니...생각하고 넘어가면 안됨

-> 바로 체크하는 습관을 들이자

 

 

7. 사전에 당연히 여기는 부분, 의심이 조금이라도 들면 확인하고 문의할 것

-> 실수를 줄이는 지름길....

-> 이것 때문에 놓친거 2개나 나왔다..

(dpu, worker 수 변경 안한거 / prod 에 배포 안한거 )