1. 개요 오늘 팀 단톡방에 좋은 질문이 올라와 읽던 중 공유 2. 질문 - 공유 잠금 기능이 MSSQL 만의 기능인가? -> "MSSQL 은 기본적으로 SELECT 시 공유잠금(S Lock) 이 걸린다. 이는 MSSQL 의 기본 격리수준(Isolation Level) 이 Read Committed 이기 때문이다. 즉, DML(INSERT, UPDATE, DELETE) 작업중인 ROW 또는 TABLE 에 SELECT 할 경우, 해당 작업이 끝나야 SELECT 할 수 있다는 의미이다. 3. 답변 - DBMS 마다 lock 정책이 다르지만, 공유잠금이란 개념은 모두 존재 - MSSQL 은 read commited 정책을 도입함 - 아래 내용은 read lock 이 왜 생기게 되었는지, 이를 해결하기 위해선 ..

1. 개요 이번에 HDC 프로젝트를 진행하면서 glue 서비스를 사용했음 glue 를 돌릴 때, glue 외부에서 어떻게 파라미터를 넣는지 몰랐는데 이번에 알게 되었음 2. 방법 - 간단함. sys 변수에 환경변수를 통해 파라미터를 넣어주는 코드를 짜고 - Glue 의 getResolvedOptions 함수를 이용하여 sys 변수에 있는 변수를 꺼내주면 됨 3. 샘플 1) MWAA 코드 glue_task_AAAA = GlueJobOperator( task_id = 'glue_task_samp;le', job_name = 'sample-mssql-job', script_args = { '--query' : "select * from dbo.sample_table a", '--table_name' : "sa..

향후 IAM Role에 대해서 복습할 때 아래의 링크를 참고하여 다시 학습하도록 할 것 아래의 링크는 IAM 에 대한 설명이 자세히 되어 있고 무엇보다도 Role 을 읽는 방법에 대해 잘 서술되어 있어 기억이 가물가물할 때 읽으면 좋은 것 같다 https://musma.github.io/2019/11/05/about-aws-iam-policy.html AWS IAM: IAM Policy 알아보기 (이론편) 목차 서론 AWS IAM은 반드시 공부하자 본론 기본 개념과 용어 정리 IAM 정책 JSON 문법 IAM Policy의 종류 [실습] 쪽지시험 ... musma.github.io

카테시안 조인은 A 집합의 데이터 각각이 B 집합의 모든 데이터와 조인되는 것을 뜻한다고 한다. SQL BOOSTER에서는 아래 그림을 사용해 카테시안 조인을 설명할 수 있으며, CUS_GD 집합 두 건이 ITM_TP 집합 네 건과 모두 조인 처리되어, 3번과 같이 총 8건의 데이터가 만들어진다. 요약하기위해 참고한 사이트이다. 이 사이트가 나에게는 이해하기 쉽게 카테시안 조인에 대해 정리를 잘 한 것 같다 https://sweetquant.tistory.com/323 카테시안 조인 이해하기 지난 글에서는 셀프조인에 대해 살펴봤습니다. https://sweetquant.tistory.com/322 셀프 조인 이해하기 안녕하세요. 오늘은 셀프 조인(Self Join)에 대해 정말 간단하게 설명해볼까 합니다..

8.1 조인 표현식 #python3 DF.join( JoinDF , JoinExpression, (joinType) ) - JoinDF : 조인 대상 - JoinExpression : 조인 표현식(조건) - joinType : 조인 타입( 생략가능 / defaultValue : inner ) 왼쪽, 오른쪽 데이터 셋에 있는 하나 이상의 키값을 비교하고 왼쪽 데이터 셋과 오른쪽 데이터 셋의 결합 여부를 결정하는 조인 표현식의 평가 결과에 따라 두 개의 데이터 셋을 조인 가장 많이 사용하는 조인식은 동등 조인(equi-join) 더 복잡한 조인 정책도 지원함 8.2 조인 타입 내부 조인(inner join) 왼쪽, 오른쪽 데이터 셋에 키가 있는 로우를 유지 외부 조인(outer join) 왼쪽이나 오른쪽 데..

집계를 수행하려면 키나 그룹을 지정하고 하나 이상의 컬럼을 변환하는 방법을 지정하는 집계함수를 사용 SELECT 가장 간단한 형태의 그룹화, 집계를 수행해 데이터 프레임의 전체 데이터를 요약 GROUP BY 하나 이상의 키를 지정, 값을 가진 컬럼을 변환하기 위해 다른 집계 함수 사용 WINDOW 하나 이상의 키를 지정할수 있음, 값을 가진 컬럼을 변환하기 위해 다른 집계 함수 사용 가능. 하지만 함수의 입력으로 사용할 로우는 현재 로우와 연관성이 있어야 함 GROUP SET 서로 다른 레벨의 값을 집계할 때 사용. SQL, 데이터프레임의 롤업, 큐브 사용 가능 ROLL UP 하나 이상의 키 지정 가능, 컬럼 변환하는데 다른 집계 함수 사용하여 계층적 요약된 값 구함

2. 첫번째 Airflow DAG 작성 Airflow 는 하나 이상의 단계로 구성된 대규모 작업을 개별 태스크로 분할하고 DAG ( Directed Acyclic Graph) 로 형성 가능 다중 태스크를 병렬로 실행할 수 있고 서로 다른 기술을 사용할 수 있음 import json import pathlib import airflow import requests import requests.exceptions as requests_exceptions from airflow import DAG from airflow.operators.bash import BashOperator from airflow.operators.python import PythonOperator dag = DAG( dag_id="l..

여러 프로그램에서 썼던 편리한 함수를 각 프로그램에 정의를 복사하지 않고도 사용하고 싶을 수도 있다. 이런 것을 지원하기 위해, 파이썬은 정의들을 파일에 넣고 스크립트나 인터프리터의 대화형 모드에서 사용할 수 있는 방법을 제공합니다. 그런 파일을 모듈 이라고 부름 모듈로부터 정의들이 다른 모듈이나 메인 모듈로 임포트 될 수 있음 1. 파이썬 스트링 관련 모듈 2. 데이터 타입 관련 모듈 3. 수학 함수 및 기타 숫자 모듈 4. 인터넷 데이터 처리 모듈 5. 마크업 및 파일 형식 관련 모듈 5. 압축, 보관 및 자료보존 처리 함수형 모듈 6. 운영체제 및 런타임 관련 모듈 자세한 내용은 추후 아래 링크를 통해 스터디 진행할것 https://docs.python.org/ko/3/tutorial/module..

1. 원인 프로시져 문에서 문법 오류가 발생했을 때 에러가 뜸 2. 해결 방법 흔한 방법이지만, 에러문에 힌트가 있음... -> 이게 어렵지..인내심을 가지고 찾는다는 것이.. 나의 에러문은 아래와 같았음 begin case declare end exception exit for goto if loop mod null pragma raise return select update while with 즉 문법에 문제가 있다는 것이다... oracle 프로시져 문의 문법을 찾아 해맸음... 그 결과 다른 쿼리를 실행시키려면... execute immediate 를 계속 붙여야 한다는 것을 알게됨 적용 후 성공(쿼리는 아래와 같음..) .option("sessionInitStatement","""BEGIN ex..

- 출처는 chatGPT 클릭스트림(clickstream)은 인터넷 사용자의 웹사이트 방문 기록을 기록한 데이터 시퀀스를 말합니다. 일반적으로 클릭스트림은 사용자가 웹 페이지를 방문하고 클릭한 경로, 스크롤한 위치, 검색어, 상호 작용한 요소 등의 정보를 기록합니다. 클릭스트림 데이터는 웹사이트 분석, 사용자 경험 개선, 광고 타게팅, 개인화 추천 등 다양한 분야에서 활용될 수 있습니다. 이 데이터를 분석하면 사용자 행동 패턴을 파악하고 웹사이트나 애플리케이션의 개선점을 찾을 수 있습니다. 또한 클릭스트림 데이터는 개인화된 사용자 경험을 제공하기 위해 사용될 수도 있습니다. 클릭스트림 데이터는 일반적으로 웹 서버나 애플리케이션 서버에서 수집되며, 웹 로그 파일, 데이터베이스, 이벤트 추적 도구 등을 통해..