머신러닝 관련 참고 지식 : 오분류표/정확도/특이도/지지도/신뢰도
·
Data Engineering/머신러닝, AI
오분류표 (confusion matrix) 대부분의 분류 분석 모델 예측 결과는 분류 범주로 나타남에 따라 분류 분석 모형의 평가에는 오분류표가 일반적으로 사용된다. 오분류표는 목표 변수의 실제 범주와 모형에 의해 예측된 분류 범주 사이의 관계를 나타내는 표로 다음과 같이 나타낸다. 오분류표의 각 값이 의미하는 바는 다음과 같다. - TP(True Positives): 실제값과 예측치 모두 True 인 빈도 - TN(True Negatives): 실제값과 예측치 모두 False 인 빈도 - FP(Fasle Positives): 실제값은 False이나 True 로 예측한 빈도 - FN(Fasle Negatives): 실제값은 True 이나 Fasle 로 예측한 빈도 오 분류 표를 활용하여 모형을 평가하는 ..
리눅스 네트워크 설정시 주의할 점
·
언어/Linux
네트워크 ip 주소의 최대 범위는 255.255.255.255 이다 그러므로 네트워크 주소를 설정해줄때 255 이상의 숫자 범위를 넘어가면 리눅스 서버에서 해당 ip 를 제대로 인식하지 못하여 서버 에러가 뜰 수 있다. 직접 경험 참고 701로 설정을 했다가 inet 부분이 계속 172.30.1.22/24 로 띄워져서 이유를 뒤져봤더니... 네트워크 주소는 255 이상을 식별하지 못하는 것으로... 그래서 255 이내로 주소 설정을 해야된다는 것을 배웟...ㅠㅠㅠ
리눅스 에러01 : no write since last change
·
Error code 모음/3. Linux Errors
vi 편집기의 내용을 변경해준 후에 바로 :q 를 써서 빠져나오려고 해서 발생 이럴 때는 :wq 로 파일 저장 후, 종료를 해주면 된다 ( :wq ) 는 vi 편집기 종료 명령어이다. 하단 링크 참고 http://mwultong.blogspot.com/2006/11/vim-vi-gvim-exit-quit.html VIM (VI, GVIM) 빔 에디터, 종료 명령어, 빠져 나오는 법; Exit Quit mwultong.blogspot.com
Chapter 2. 사이킷 런으로 시작하는 머신러닝 스터디 1주차 정리
·
Data Engineering/머신러닝, AI
1) 사이킷런 특징 - 사이킷런은 파이썬 머신러닝 라이브러리 중 가장 많이 사용되는 라이브러리 - 파이썬 기반의 머신러닝을 위한 가장 쉽교 효율적인 개발 라이브러리를 제공 - 가장 파이썬 스러운 API 제공 - 기본적으로 아나콘다를 설치할 때 기본적으로 설치됨 2) 첫번째 머신러닝 만들어보기- 붓꽃 품종 예측하기 첫번째로 만들어 볼 붓꽃 데이터 세트, 붓꽃의 품종을 분류(classification) 하는 것. 붓꽃(iris) 데이터는 꽃잎의 길이와 너비, 꽃받침의 길이와 너비 feature 기반으로 꽃의 품종을 예측하기 위한 것 ** 분류(classification) ** 대표적인 지도학습(Supervised Learning) 방법의 하나. ** 지도학습(Supervised Learning) ** 지도학..
가우시안 정규분포
·
Data Engineering/머신러닝, AI
머신러닝에서 서로 다른 변수의 값 범위를 일정한 수준으로 맞추는 작업을 피처스케일링 이라고 하는데 대표적인 방법 중 하나가 표준화 / 정규화입니다. 이 표준화는 데이터 피처 각각이 평균이 0이고 분산이 1인 가우시안 정규분포를 가진 값으로 변환하는 것을 의미하는데요. 여기서 가우시안 정규분포는 가우시안 분포는 연속 확률 분포의 하나입니다. 가우시안 분포는 보통 정규분포(standard distribution)로 알려져있습니다. 연속 확률 분포 중 가장 널리 알려진 분포 입니다. 여기서 파생된 중요한 정리가 중심극한 정리.. 동일한 확률분포를 가진 독립 확률 변수 n개의 평균의 분포는 n이 적당히 크다면 정규분포에 가까워진다 라는 정리 중심극한정리 참고 링크 https://bioinformaticsandm..
python error L “TypeError: __str__ returned non-string” but still prints to output?
·
Error code 모음/4. Python errors
__str__ 는 특수 메서드 중 하나입니다. class Element(): def __init__(self, name, symbol, number): self.name = name self.symbol = symbol self.number = number def __str__(self): print("name:{0} symbole:{1} number:{2}".format(self.name, self.symbol, self.number)) 특수 메서드는 print 가 아닌 return 으로 값을 받아줘야 에러없이 출력이 되는데 위 에어는 print( ) 로 값을 받아서 생긴 에러였네요 print( ) --> return 으로 해야합니다. class Element(): def __init__(self, n..
python error : __init__() missing 1 required positional argument:
·
Error code 모음/4. Python errors
아... 너무 쪽팔리는 에러를 만났네여.. 함수를 만들어 놓고도.. 안에 값을 넣지 않아서.. 저런 에러를 만나고 30분을 고민햇다니..!!!으!!! 일단 에러를 낸것이니 기록! class Thing(): def __init__(self, example): self.example = example thin = Thing(#이 부분이 문제였음) 위에 class 를 만들어주고 이를 thin 이라는 객체에 담아주었는데 __init__ 라는 초기화 함수를 써주었는데요. 처음에는 이해가 안되었지만, 이 에러를 풀고 원인을 공부하는 과정에서 이 함수를 왜 쓰는지 짐작을 할 수 있게 된 것 같네요 __init__ 는 초기화 함수라고 해서 객체를 만들때마다 클래스를 초기화해서 새것처럼 사용할 수 있게 만들어줍니다.. ..
RASA 오픈소스 를 통해 간단한 챗봇 구축하고 훈련하기 04
·
프로젝트, 인강 그리고 책/RASA chatbot Project
두번째 포스트까지는 기본 챗봇을 만들 수 있는 방법을 알려드렸습니다. 이번 포스트는 두번째 포스트를 기반으로 챗봇을 조금이나마 한단계 업그레이드 할 수 있는 단계로 반드시, 따라하지 않으셔도 됩니다. 챗봇에서는 slot filling(슬롯 채우기)라는 기능이 있습니다. 슬롯 채우기는 몇개의 정보를 알아내어야 챗봇이 답을 줄 수 있을 때, 그 몇개의 정보(slot)들을 다 채워 넣는 것(filling)으로 모든 슬롯이 다 채워질때까지 질문을 하는 것입니다 챗봇은 슬롯에 필요한 정보들을 다 채우면 사용자가 원하는 정보를 출력해 줄수 있습니다. rasa 에는 3가지 정도의 슬롯 필링이 있다고 알고 있는데요 오늘은 그 중 하나인 action.py 파일을 활용하여 슬롯 채우기를 실행 할 수 있는 방법을 하려고 합..
RASA 오픈소스 를 통해 간단한 챗봇 구축하고 훈련하기 03
·
프로젝트, 인강 그리고 책/RASA chatbot Project
저번 포스트까지는 기본 챗봇을 만들 수 있는 방법을 알려드렸습니다. 이번 포스트는 저번 포스트를 기반으로 챗봇을 조금이나마 한단계 업그레이드 할 수 있는 단계로 반드시, 따라하지 않으셔도 됩니다. Response Selector NLU component 는 사람들끼리 간단하게 할 수 있는 일상 대화와 자주 물어보는 간단한 FAQ 관련 메시지들을 처리하기 위해 사용되는 RASA 챗봇의 요소 중 하나인데요. 이 기능을 사용하면 챗봇과 유저간에 일어날 수 있는 수많은일상적인 대화들과 FAQ 들을 처리하기 위한 스토리들과 인텐트들을 다 만들지 않고 간편하게 해결할 수 있어서 괜찮은 기능이라고 생각해요. 유저들은 챗봇에게 이런 저런 질문이나 시시콜콜한 이야기등을 하는데요. 라사 챗봇은 그렇게 들어오는 인텐트들을 ..
RASA 오픈소스 를 통해 간단한 챗봇 구축하고 훈련하기 02
·
프로젝트, 인강 그리고 책/RASA chatbot Project
이번에는 간단하게 자신이 원하는 챗봇을 만들어보겠습니다. 일단 저의 경우에는 챗봇을 구축하면서 RASA 오픈 소스를 이해하는 것에 방점을 두었기 때문에 빠르게 챗봇에 대한 뼈대를 구축하고자 했습니다 우선, RASA 를 통해 어떻게 챗봇을 만드는지 과정을 간단하게 설명해드리겠습니다. 간단하게 개인적으로 유튜브에 업로드 해놓은 동영상을 참고해주시기 부탁드릴게요 (채널홍보가 아니며, 추후에 저도 접근이 쉬운 플랫폼인 유튜브 채널을 선택하게 되었어요!) https://youtu.be/-eeshd7p0FQ 챗봇을 만드는 법에 대해서 제가 직접 간단하게 촬영해본 영상입니다 ^^ㅎㅎ 먼저, stories.md 파일을 열어서 만들고 싶은 스토리를 설정을 해주세요! 챗봇의 경우에는 '내가 어떻게 이야기를 진행시킬 것인가..