전체 글

python의 pandas를 이용해 데이터의 기초 통계를 알아보자.데이터 불러오기import pandas as pd import matplotlib.pyplot as pltimport seaborn as snsimport numpy as npfrom datetime import datetime from statsmodels.tsa.seasonal import seasonal_decompose# 한글 깨짐plt.rc('font', family='NanumBarunGothic') df = pd.read_excel('../data/도로교통공단_일자별 시군구별 교통사고 건수.xlsx')df.head() 현재 발생월, 일이 조금 알아보기 어려운 형태라 이 부분만 ..

가설 검정가설 검정은 통계적으로 어떤 주장(귀무가설)이 사실인지 확인하는 방법이다. 이 과정에서 우리는 두 가지 가설을 세운다:귀무가설 (H_0): 보통 우리가 검정하고자 하는 기본 가정. (마음속으로는 기각하고자 하는 가정)대립가설 ((H_1)): 귀무가설이 사실이 아닐 경우를 나타내는 가설. (마음속으로는 채택하고 싶은 가정) 유의수준 (α)과 1종 오류유의수준(α)은 가설 검정에서 귀무가설을 잘못 기각할 확률을 나타낸다. 이 값은 우리가 허용하는 1종 오류의 최대 확률이다. 1종 오류는 귀무가설이 사실임에도 불구하고 이를 기각하는 오류를 의미한다. 일반적으로 유의수준은 0.05(5%)로 설정되며, 이는 “귀무가설이 사실일 때 5%의 확률로 잘못된 결정(귀무가설 기각)을 내릴 수 있다”는 뜻이다...

집합 A의 크기를 |A|라고 하며, 이를 A의 크기 혹은 카디널리티(cardinality)라고 부른다. 이 개념은 집합이 몇 개의 원소를 가지고 있는지를 나타낸다. 집합의 크기는 크게 두 가지로 나뉜다: 유한 집합과 무한 집합이다. 유한 집합과 무한 집합집합은 유한 집합(finite set)과 무한 집합(infinite set)으로 구분할 수 있다. 유한 집합 (Finite Set)집합 A가 공집합인 경우, 즉 A가 아무 원소도 포함하지 않는 경우, A는 유한 집합이다. 이때, A의 크기를 0이라고 정의하며, 이를 |A| = 0이라고 쓴다.만약 집합 A의 원소들이 어떤 자연수 집합 {1, 2, …, n}과 1-1 대응(일대일 대응, 1-1 correspondence)을 가질 수 있는 경우, 이 집합 A는..

1. RAGRAG는 “Retrieval Augmented Generation”의 약자로, 사용자의 쿼리에 대한 응답을 생성할 때 모델의 내재적 지식에만 의존하지 않고, 외부의 지식을 검색하여 보충하는 방법이다. 이 방법은 크게 세 가지 중요한 단계로 구성된다:Indexing: 외부 지식을 효율적으로 검색할 수 있도록 미리 처리해 두는 단계이다.Retrieval: 사용자의 쿼리에 적합한 지식을 검색하여 모델에 전달하는 단계이다.Generation: 전달받은 지식을 기반으로 사용자의 쿼리에 대응하는 응답을 생성하는 단계이다. 2. Language Models언어 모델은 자연어를 확률적으로 모델링하는 시스템이다. 즉, 주어진 단어나 문장 조합이 얼마나 자연스러운지를 학습하고, 이에 따라 확률을 부여할 수 있다..

📌 서론지금까지 챗의 메모리 없이 단일 질문에만 대답하는 챗봇을 만들었다. 이제 history까지 기억할 수 있는 챗봇과 마지막으로 '육아'와 관련되지 않은 질문이 오면 대답을 회피하는 기능을 추가해 보자! (이전 글과 이어지는 내용이니 참고하시면 좋을것같습니다~)[팀프로젝트] 페르소나를 이용한 오은영 박사님 챗봇 (1) 데이터 수집 및 임베딩, 쿼리 테스트 [팀프로젝트] 페르소나를 이용한 오은영 박사님 챗봇 (1) 데이터 수집 및 임베딩, 쿼리 테스트📌 서론첫 번째 팀프로젝트다! 우리는 페르소나를 이용해 챗봇을 만다는 과제를 받았다. 어떤 캐릭터를 진행할까 하다가 일반적인 소설 속 캐릭터, 애니메이션 캐릭터는 말투정도밖에 따라 하yijoon009.tistory.com  1. 메모리 객체from la..

이번 글은 이전 글과 이어지는 내용이다. 이전 글은 여기서 볼 수 있다.페르소나를 이용한 챗봇 (1) - 셜록 홈즈 데이터 준비 및 검색 엔진 설정 페르소나를 이용한 챗봇 (1) - 셜록 홈즈 데이터 준비 및 검색 엔진 설정셜록 홈즈와 대화하는 챗봇을 만들어보자!  1. 데이터 준비a. 원본 데이터 다운로드!curl https://sherlock-holm.es/stories/plain-text/cano.txt -o ../dataset/holmes/canon.txt 위 명령어는 curl을 사용하여 URL에서 텍스yijoon009.tistory.com  1. bot with prompt우선 메모리가 없는 페르소나 챗봇을 베이스라인 삼아서 만들어보자.template = """I want you to act l..

📌 서론첫 번째 팀프로젝트다! 우리는 페르소나를 이용해 챗봇을 만다는 과제를 받았다. 어떤 캐릭터를 진행할까 하다가 일반적인 소설 속 캐릭터, 애니메이션 캐릭터는 말투정도밖에 따라 하지 못할 거 같은데 우리는 그 안에서 콘텐츠도 주고받을 수 있고 반대 의견을 제시했을 때 대립할 수 있는 인물을 잡고자 했다. 그래서 우리는 오은영 박사 챗봇을 만들기로 했다. 오은영 박사님의 나긋나긋한 말투는 일단 바로 알아볼 수 있고, 오은영 박사님의 가치관과 대립하는 의견을 제시했을 때 과연 챗봇은 어떻게 대답할까?라는 궁금증도 있었다. 우리는 임베딩 모델, LLM 모두 solar api를 사용했다. 여기서 나오는 코드들은 전부 이전에 작성한 코드를 조금씩 변형하고 openai api를 solar api로 수정한 내용..

셜록 홈즈와 대화하는 챗봇을 만들어보자!  1. 데이터 준비a. 원본 데이터 다운로드!curl https://sherlock-holm.es/stories/plain-text/cano.txt -o ../dataset/holmes/canon.txt 위 명령어는 curl을 사용하여 URL에서 텍스트 파일을 다운로드하고, 이를 ../dataset/holmes/canon.txt 경로에 저장하는 것이다. 이 파일에는 셜록 홈즈 소설 전체가 담겨 있다. b. API 키 설정여기서는 OpenAI API 키를 설정하는 과정이다. os.environ을 사용하여 환경 변수 OPENAI_API_KEY에 API 키를 저장한다. 이후 이 키를 사용하여 OpenAI의 서비스를 호출할 수 있게 된다.import osapi_key =..