이번 사이드 프로젝트의 목표는 다음과 같다. 처음 시작하는 것이니 만큼. 데이터 파이프라인의 구축에 이르는 일련의 과정 만드는 데 감을 잡고 더 나아가 간단하게 분석까지 해보고자 한다. 프로젝트 목표 - 성별 / 연령별 트렌드 데이터 수집 및 분석 프로세스 구축 최종 소비자 - (가상의 스타트업) 데이터 분석가들 데이터 수집의 목적 - 네이버 쇼핑 데이터에서 발생하는 트래픽 분석 - 트렌드 변화추이를 분석함으로써 향후 카테고리 진출에 대한 인사이트를 얻고자 함 파이프라인 구현 목표 - 매일 정해진 시간에 전날의 트랜드 데이터를 가져와서 축적하는 시스템 구축 - AWS 를 이용하여 비용과 시간을 절약하고 장소에 구애받지 않는 효율적인 수집-분석 시스템 구축 - 데이터 초기화에 대비한 백업 데이터 베이스를 ..

두번째 포스트까지는 기본 챗봇을 만들 수 있는 방법을 알려드렸습니다. 이번 포스트는 두번째 포스트를 기반으로 챗봇을 조금이나마 한단계 업그레이드 할 수 있는 단계로 반드시, 따라하지 않으셔도 됩니다. 챗봇에서는 slot filling(슬롯 채우기)라는 기능이 있습니다. 슬롯 채우기는 몇개의 정보를 알아내어야 챗봇이 답을 줄 수 있을 때, 그 몇개의 정보(slot)들을 다 채워 넣는 것(filling)으로 모든 슬롯이 다 채워질때까지 질문을 하는 것입니다 챗봇은 슬롯에 필요한 정보들을 다 채우면 사용자가 원하는 정보를 출력해 줄수 있습니다. rasa 에는 3가지 정도의 슬롯 필링이 있다고 알고 있는데요 오늘은 그 중 하나인 action.py 파일을 활용하여 슬롯 채우기를 실행 할 수 있는 방법을 하려고 합..

저번 포스트까지는 기본 챗봇을 만들 수 있는 방법을 알려드렸습니다. 이번 포스트는 저번 포스트를 기반으로 챗봇을 조금이나마 한단계 업그레이드 할 수 있는 단계로 반드시, 따라하지 않으셔도 됩니다. Response Selector NLU component 는 사람들끼리 간단하게 할 수 있는 일상 대화와 자주 물어보는 간단한 FAQ 관련 메시지들을 처리하기 위해 사용되는 RASA 챗봇의 요소 중 하나인데요. 이 기능을 사용하면 챗봇과 유저간에 일어날 수 있는 수많은일상적인 대화들과 FAQ 들을 처리하기 위한 스토리들과 인텐트들을 다 만들지 않고 간편하게 해결할 수 있어서 괜찮은 기능이라고 생각해요. 유저들은 챗봇에게 이런 저런 질문이나 시시콜콜한 이야기등을 하는데요. 라사 챗봇은 그렇게 들어오는 인텐트들을 ..

이번에는 간단하게 자신이 원하는 챗봇을 만들어보겠습니다. 일단 저의 경우에는 챗봇을 구축하면서 RASA 오픈 소스를 이해하는 것에 방점을 두었기 때문에 빠르게 챗봇에 대한 뼈대를 구축하고자 했습니다 우선, RASA 를 통해 어떻게 챗봇을 만드는지 과정을 간단하게 설명해드리겠습니다. 간단하게 개인적으로 유튜브에 업로드 해놓은 동영상을 참고해주시기 부탁드릴게요 (채널홍보가 아니며, 추후에 저도 접근이 쉬운 플랫폼인 유튜브 채널을 선택하게 되었어요!) https://youtu.be/-eeshd7p0FQ 챗봇을 만드는 법에 대해서 제가 직접 간단하게 촬영해본 영상입니다 ^^ㅎㅎ 먼저, stories.md 파일을 열어서 만들고 싶은 스토리를 설정을 해주세요! 챗봇의 경우에는 '내가 어떻게 이야기를 진행시킬 것인가..

어떻게 설치를 할까? 전반적으로는 유저 가이드를 참고해가면서 설치하면 쉽게 할 수 있는 편입니다. 하지만..영어가 귀찮다는 이유로 다른 곳을 찾아서 할 경우 더욱 미궁으로 빠질 수 있으니 주의 할 것 친절하지가 않은 것 같아서.. 주의 부탁드릴게요! RASA 사이트의 경우에도 설치 방법이라던지 버전 등등이 빠르게 변하는 편이기 때문에. 유저 가이드를 참고하면서 공부할 때 약간의 주의가 필요한 것 같아요! --> 지극히 개인적인 경험...얼마전에 다시 설치하려고 유저가이드 들어가봣더니..설치방법이 바뀌어 있었네요 ㅠㅠ 설치를 위한 GUIDE SITE 는 아래 의 링크를 참고해주세요! User guide 사이트 : https://rasa.com/docs/rasa/user-guide/installation/ ..

회사에 처음 입사하여 프로젝트로 챗봇을 담당하게 되었네요. 제가 잠시 몸담았던 분야의 경험을 살려 화장품 관련 챗봇을 만들어볼까 하는데... 어떻게 설계를 할 수 있을까? 라는 고민을 하고 있네요.. 뭐가 있을까...? 예를 들면 피부타입에 맞는 화장품을 추천해주거나.. 사용하던 것과 비슷한 화장품을 추천해준다? 처음에는 단순하게 생각했는데.. 파면 팔수록 많은 것들을 고려해야한다..라는 생각이 드네요... 흠.... 어떤 것을 하면 좋을까...? 그러면!! 제가 스타트업에서 화장품 + 배송 관련 CS 를 담당했던 것을 바탕으로 그것을 조합한 챗봇을 만들어 보는 것을 좋을 것 같네요!! 왜 몇일동안 이 아이디어가 생각이 안났는지...참.... 제가 참고한 블로거 주소 남깁니다 해당 글을 남겨주셔서 매우 ..

CP4. 챗봇 0. 챗봇 기본용어 1) 자연어 처리엔진 자연어 처리를 할 수 있게 만들어조는 프로그램 혹은 툴 음성, 이미지 등 인공지능 엔진은 종류가 다양, 자연어 처리 엔진은 그 중 하나 Ex) Watson 의 conversation 엔진, MS 의 Luis, 카카오의 카카오I 2) 인텐트(Intent) 입력 문장이 어떤 의도인지 분류하기 위한 기준. 문장을 입력 받으면 봇은 지금까지 학습된 문장을 바탕으로 가장 적절한 대화 의도를 찾고, 대답한다. 사용자가 챗봇에게 어떤 요청을 하면 그 요청을 사전에 훈련한 인텐트(의도)를 바탕으로 분류하여 그에 맞는 미리 설정된 대답을 하는 것 3) 말문장(Utterance) 인텐트(의도)를 표현하기 위한 다양한 예시 문장들로, 인공지능을 학습시키기 위한 교육자료..

CP3. NLU vs NLP vs NLG 0. 들어가기에 앞서 – 챗봇에 대한 개념 정리 1) 봇(BOT) 카테고리 봇 : 네트워크에서 작동하는 자동화 프로그램 챗봇 : 인간의 언어를 사용해 커뮤니케이션하는 봇 AI assistant(인공지능 비서) : 사용자를 위해 다양한 업무나 서비스 수행하는 로봇 2) 인공지능 : 기술 AI : 컴퓨터가 인간의 ‘인지’ 능력을 모방할 수 있게 하는 것 머신러닝(Machine Learning) : 배우게 하는 별도의 프로그래밍 없이도 학습하는 것 인공신경망(Neural Network) : 인간의 신경망(뉴런)에서 영감을 얻은 통계학적 학습 알고리즘. 시냅스의 결합으로 네트워크를 형성한 인공 뉴런이 학습을 통해 시냅스의 결합 세기를 변화시켜 문제 해결 능력을 가지는 모..

주피터 노트북 사용법의 경우에는 생각보다 쉽다. 그래서 따로 사용법은 기록하지 않고 사용법을 다시 공부하기 위해 참고한 사이트틀만 간단하게 업로드해 놓는다. ps. 다시한번, 공부를 위해 자료를 공유해주신 블로거 분들에게 다시 감사드립니다 ------------------------------------------------------------------------------------------------------------- ** jupyter 사용 매뉴얼 참고url1 ** https://dojang.io/mod/page/view.php?id=2457 파이썬 코딩 도장: 46.2 주피터 노트북 사용하기 지금까지 파이썬 IDLE에서 코드를 작성하고 실행해봤습니다. 이번에는 웹 브라우저에서 파이썬 코..

1차 프로젝트에 진입하기전 아나콘다 사용법에 대해서 다시 학습하는 시간을 가지고 있다 아나콘다를 자주 사용하기에 사용법을 잘 알고 있다고 생각을 했으나 콘솔 버전으로 다시 설치하고 과정을 익히다보니..생각보다 잘 모르고 있었다는 생각이 들었다.. 앞으로 블로그에 기록하고 수시로 블로그를 보면서 연습해야겠다.. 아나콘다 가상환경 설치 (jupyter notebook 커널까지) 0. 가상환경의 사용이유 1) python 버전 관리 - 현재 2.x 와 3.x 버전이 혼용되는 과도기에 있기 때문에 때로든 2.x 버전에서 개발을 해야할 때도 있고, 3.x 버전의 환경에서 개발해야할 때도있음. 쉽게 버전을 설치/변경하기 힘들기 때문에 가상환경 사용 2) 패키지 충돌 방지 - 가상환경이 아닌 곳에 패키지를 몽땅 설치..