1. 개요 해당 사항은 에러가 아니다. 컬럼에 NaN 값 또는 여러 타입의 데이터가 섞여 있으면 발생하는 에러이다. 2. 해결 방법 경고 메시지가 알려주는 대로 dtype option으로 타입을 명시해주거나 low_memory = False로 지정해 주면 경고 메시지가 출력되지 않는다. 3. 참고 링크 https://stackoverflow.com/questions/24251219/pandas-read-csv-low-memory-and-dtype-options Pandas read_csv: low_memory and dtype options df = pd.read_csv('somefile.csv') ...gives an error: .../site-packages/pandas/io/parsers.py:1..

1. 간단한 의미 '제공하다' 의 의미를 가지고 있음 사용자의 요구에 맞게 시스템 자체를 제공하는 것을 프로비저닝이라고 함 프로비저닝을 통해 제공하는 것은 인프라 자원 / 서비스 / 장비 가 될 수 있음 클라우드 서비스의 부상으로 인해 떠오르는 개념 2. 참고 링크 https://jins-dev.tistory.com/entry/%ED%94%84%EB%A1%9C%EB%B9%84%EC%A0%80%EB%8B%9DProvisioning-%EC%9D%B4%EB%9E%80 프로비저닝(Provisioning) 이란? 최근 심심치 않게 들리는 소프트웨어 용어 중 하나가 프로비저닝(Provisioning) 이다. 생각보다 오래사용되오던 단어인 것으로 보이나, 최근에 좀 더 각광을 받게 된 이유는 아무래도 클라우드 인프 ..

사용자가 자주 사용하는 Service 를 등록하고 Systemd 에서 관리 가능 sysmemd 에 service 로 등록하기 위해서 2가지 등록이 필요함 서비스 파일 생성 : /usr/lib/systemd/systen/서비스이름.service 심볼릭 링크 생성 : /etc/systemd/system/multi-user.target.wants/서비스이름.servicet 심볼릭 링크 생성은 재부팅 후에도 서비스가 시작되도록 서비스 등록을 위해 생성한다 [Unit] Description : 서비스에 대한 설명 Before : 시작되기 전에 실행할 서비스 After : 시작된 이후 실행할 서비스 Requires : 필요조건(정상적일 경우)서비스 시작 [Service] Type=[ simple | forking ..

포함되는 경우 : COUNT(*) 포함되지 않는 경우: COUNT(ColumnName) COUNT(컬럼명)을 사용하면 NULL 값은 제외하고 COUNT COUNT(*)를 사용하면 NULL도 포함해서 전부 COUNT 하지만, 빈 문자열은 COUNT() 결과에 포함되며 문자열을 COUNT( ) 에서 빼려면 빈 문자열을 NULL로 바꾸고 COUNT()를 해야 한다.

이번 프로젝트에서 운영하는 데이터 베이스가 이중화로 되어 있어 이중화에 대한 개념 및 참고할만한 링크를 기록한다. 1. DB 이중화란 '기준이 되는 데이터베이스(Master)의 변경된 데이터를 물리적으로 떨어진 각각의 데이터베이스(Slave)에 동일하게 유지하여 관리하는 것' 실서비스에서는 데이터의 유실을 방지하거나 무중단 서비스를 위해서는 이중화가 필수 2. 참고 링크 https://velog.io/@jwpark06/Postgresql-%EC%9D%B4%EC%A4%91%ED%99%94%ED%95%98%EA%B8%B0-Streaming-%EB%B0%A9%EC%8B%9D Postgresql 이중화하기 먼저, DB 이중화에 대해 알아보겠습니다. DB 이중화란 '기준이 되는 데이터베이스(Master)의 변경된..

1. 개요 회사에서 기존에 있는 코드를 조금씩 리펙토링하고 있다. 가독성이 좋도록 함수들을 분리시켜 관리가 쉽게 만들고 있고 일부 코드들을 최적화하고 있다. 추후에도 비슷한 작업을 할 때, 참고하면서 하기 위해서 코드를 아래에 기록해 둔다 2. 참고 링크 https://dongdongfather.tistory.com/69 [파이썬 기초] 유사 딕셔너리 defaultdict() 활용법 defaultdict()는 딕셔너리를 만드는 dict클래스의 서브클래스이다. 작동하는 방식은 거의 동일한데, defaultdict()는 인자로 주어진 객체(default-factory)의 기본값을 딕셔너리값의 초깃값으로 지정할 수 있 dongdongfather.tistory.com

데이터를 import 하는 법에는 여러가지가 있지만. 최근 회사에서 pgadmin 을 통해서 csv 파일을 import 하는 작업을 했다. 추후 동일한 작업을 하거나 다른 방법으로 postgresql 에 데이터를 넣을 경우에 대비하여 아래 링크를 걸어두고 참고해야 겠다. 참고 링크 https://ysyblog.tistory.com/143 [PostgreSQL] CSV File를 Table에 삽입(Import)하기. CSV파일을 PostgreSQL에 삽입하는 방법은 다음과 같습니다. 먼저 데이터를 다운로드합니다. 그리고 데이터를 넣을 데이블을 만들어줍니다. DROP TABLE IF EXISTS sale_data; CREATE TABLE sale_data ( order_id S.. ysyblog.tistor..

1. 개요 파이썬에서는 예외 처리를 위해 try, except 문을 많이 사용하지만 raise 가 들어가는 것을 많이 못 본 것 같다. 들어간 프로젝트의 코드를 분석하던 중에 raise 가 나와서 간단하게 기록하려고 한다 2. 내용 raise 문은 try, except 문에 인위적으로 에러를 발생시킬 때 많이 사용한다. 즉, 사용자가 직접 에러를 발생시키는 기능이라고 보면된다. 하지만, 많이 사용하면 코드를 읽기 어려워지기 때문에 필요한 곳에서만 사용해야 한다 3. 참고 링크 https://justkode.kr/python/try-except Python에서 try, except, raise로 예외 처리 하기. 항상 프로그램은 사용자의 실수든, 코드를 잘못 작성 했든, 원하지 않는 방향으로 흘러 갈 때가..

Lalithnarayan 의 블로그를 참고하여 한국어로 간단하게 옮겼다 1. 개요 nifi template 는 nifi 에 존재하는 프로세서(processor) 들을 연결한 아키텍처(파이프라인)을 모듈(라이브러리) 화 시켜 언제든지 재사용이 가능하게 만든 것 template 의 목적은 이전에 작성한 모듈을 다시 재사용하기 위한 것 2. Steps Step 01. Creating Template - 마우스 오른쪽 클릭으로 create template 을 선택한다 - 그리고 template 이름을 적으면 완성 Step 02. Download / Export created Template - 유저 인터페이스에서 심볼 클릭 후 templates 를 클릭 - 그러면, 아래 이미지와 같이 생성한 template 를..

1. 명칭 A Slowly Changing Dimension (SCD) is a dimension that stores and manages both current and historical data over time in a data warehouse. It is considered and implemented as one of the most critical ETL tasks in tracking the history of dimension records. There are three types of SCDs and you can use Warehouse Builder to define, deploy, and load all three types of SCDs. slowly changing dimen..