전체 글

📌 서론첫 번째 팀프로젝트다! 우리는 페르소나를 이용해 챗봇을 만다는 과제를 받았다. 어떤 캐릭터를 진행할까 하다가 일반적인 소설 속 캐릭터, 애니메이션 캐릭터는 말투정도밖에 따라 하지 못할 거 같은데 우리는 그 안에서 콘텐츠도 주고받을 수 있고 반대 의견을 제시했을 때 대립할 수 있는 인물을 잡고자 했다. 그래서 우리는 오은영 박사 챗봇을 만들기로 했다. 오은영 박사님의 나긋나긋한 말투는 일단 바로 알아볼 수 있고, 오은영 박사님의 가치관과 대립하는 의견을 제시했을 때 과연 챗봇은 어떻게 대답할까?라는 궁금증도 있었다. 우리는 임베딩 모델, LLM 모두 solar api를 사용했다. 여기서 나오는 코드들은 전부 이전에 작성한 코드를 조금씩 변형하고 openai api를 solar api로 수정한 내용..

셜록 홈즈와 대화하는 챗봇을 만들어보자!  1. 데이터 준비a. 원본 데이터 다운로드!curl https://sherlock-holm.es/stories/plain-text/cano.txt -o ../dataset/holmes/canon.txt 위 명령어는 curl을 사용하여 URL에서 텍스트 파일을 다운로드하고, 이를 ../dataset/holmes/canon.txt 경로에 저장하는 것이다. 이 파일에는 셜록 홈즈 소설 전체가 담겨 있다. b. API 키 설정여기서는 OpenAI API 키를 설정하는 과정이다. os.environ을 사용하여 환경 변수 OPENAI_API_KEY에 API 키를 저장한다. 이후 이 키를 사용하여 OpenAI의 서비스를 호출할 수 있게 된다.import osapi_key =..

rebasegit rebase는 Git에서 브랜치의 커밋 히스토리를 재정렬하고, 지정한 브랜치의 가장 최신 커밋 뒤에 현재 브랜치의 커밋들을 다시 적용하는 명령어이다. 일반적으로 두 가지 상황에서 사용된다:커밋 히스토리를 정리할 때: 여러 개의 중간 커밋을 합쳐서 하나의 커밋으로 만드는 등, 깔끔한 히스토리를 유지하고자 할 때 사용된다.브랜치 간의 변경 사항을 합칠 때: merge와 유사하게 사용되지만, rebase는 커밋을 병합하는 대신 새로운 커밋 뒤에 이어 붙인다. 이로 인해 히스토리가 더 직관적이고 일관되게 유지된다. rebase squashSquash는 여러 개의 커밋을 하나로 합치는 작업을 말한다. 이 과정에서 합쳐지는 커밋들의 메시지 또한 하나로 합쳐지게 된다. 지금 진행할 예시에서는 '로그..

📌 문제 발생새로운 Conda 가상환경을 만들어 활성화했지만, which python 명령어를 실행하면 계속 기본 파이썬 경로인 /usr/bin/python3이 나오는 문제가 발생했다. conda로 새로운 가상 환경을 만들어주고 활성화를 했는데 python 경로가 기본 파이썬 경로로 나오는 문제가 발생했다.원래 conda 가상환경이 활성화된 상태에서 which python 명령어를 실행하면 가상환경 내의 Python 경로를 출력해야 한다.그런데 계속 기존 파이썬 기본 경로인 /usr/bin/python3이 나오는 에러가 있었다. green  ~  conda activate langchain(langchain) green  ~  (langchain) green  ~  which python..

HEADHEAD는 Git에서 현재 체크아웃된 브랜치 또는 커밋을 가리키는 포인터이다. HEAD는 작업 트리의 마지막 커밋을 가리키며, 현재 작업 중인 브랜치를 가리킨다. 예를 들어, main 브랜치가 체크아웃되어 있다면, HEAD는 main 브랜치를 가리키고, main 브랜치는 마지막 커밋을 가리킨다.  • 현재 작업 위치: HEAD는 현재 작업 중인 브랜치나 커밋을 나타낸다. • 포인터: HEAD는 커밋을 가리키는 포인터로서, 현재 체크아웃된 브랜치의 최신 커밋을 가리킨다. 예를 들어, git checkout main 명령어를 실행하면 HEAD는 main 브랜치를 가리키게 된다. 만약 특정 커밋 해시를 사용하여 체크아웃한다면, HEAD는 해당 커밋을 가리키게 된다.  체크아웃 (checkout)작업할 ..

🌟 해당 글은 이전 글과 이어지니 꼭! 이전글을 읽어주시기 바랍니다. 이전 글 링크는 아래 있습니다. [넷플릭스 데이터 분석] - Feature Engineering (2) [넷플릭스 데이터 분석] - Feature Engineering (2)🌟 해당 글은 이전 글과 이어지니 꼭! 이전글을 읽어주시기 바랍니다. 이전 글 링크는 아래 있습니다. [넷플릭스 데이터 분석] - 결측치 처리 (1) [넷플릭스 데이터 분석] - 결측치 처리 (1)이번yijoon009.tistory.com  넷플릭스 검색넷플릭스에서 원하는 프로그램을 검색해 보자.오징어 게임을 검색한 조건을 netflix 원본 데이터에 넣어서 True인 값만 출력str.contains( ) : 지정한 문자열이 포함되어 있으면 True 반환, 그 ..

🌟 해당 글은 이전 글과 이어지니 꼭! 이전글을 읽어주시기 바랍니다. 이전 글 링크는 아래 있습니다. [넷플릭스 데이터 분석] - 결측치 처리 (1) [넷플릭스 데이터 분석] - 결측치 처리 (1)이번 시간에는 넷플릭스 데이터 분석 과정을 소개해보려고 한다.내가 다운로드한 자료는 다음 링크에서 확인할 수 있다.https://www.kaggle.com/datasets/shivamb/netflix-shows Netflix Movies and TV ShowsListings of moyijoon009.tistory.com Feature EngineeringFeature Engineering 이란, 기존에 존재하는 변수를 활용하여 새로운 정보를 추가로 생성하는 과정이다. 첫 번째 변환 - datetime으로 변..

이번 시간에는 넷플릭스 데이터 분석 과정을 소개해보려고 한다.내가 다운로드한 자료는 다음 링크에서 확인할 수 있다.https://www.kaggle.com/datasets/shivamb/netflix-shows Netflix Movies and TV ShowsListings of movies and tv shows on Netflix - Regularly Updatedwww.kaggle.com 해당 넷플릭스 데이터는 2008년 1월부터 2021년 9월까지 데이터가 업로드되어 있다. 넷플릭스에 추가된 8000편의 영화, TV Show 정보가 담겨 있다. 데이터 분석 목표데이터 파악데이터 전처리결측치 처리피처 엔지니어링(파생변수 생성)데이터 분석을 통한 인사이트 도출오징어 게임('Squid Game') 검..