서비스를 하는 사람은 항상 고객이 필요하고 있다. 고객은 서비스에 대한 질문을 하고 서비스 담당자는 이에 대한 답변을 한다. 서비스가 커질수록 이에 소모되는 비용이 커진다.질문에 대한 답을 Bot이 할 수 있게 개발해보자.준비할 것LLM (Large Language Model) : 답변을 생성Chat History : 질문에 대한 답변 기록VectorDB : Chat History를 저장Slack Bot : 질문을 받고 LLM에 요청을 보낸 뒤 답변을 반환앞으로 만들 Slack Bot은 그림과 같이 아래와 같은 Step을 갖는다. 1. 채팅 히스토리를 벡터화해서 VectorDB에 넣는다. 2. Slack Bot으로 들어온 질문을 벡터화한다. 3. 유사한 히스토리를 VectorDB로 부터 찾는다. 4. 찾..

https://www.yes24.com/Product/Goods/124922985책 내용 중 기록하고 싶은 내용을 작성합니다.1. 챗지피티와 랭체인기존에는 용도별로 각각의 모델을 준비해야 했지만, GPT는 엄청나게 많은 다양한 종류의 텍스트로 학습해 다양한 작업에 댕응할 수 있는 언어 모델이다.언어 모델을 크게 두가지로 분류됨Chat : 대화형 상호작용 생성에 특화된 모델Complete : 주어진 텍스트에 이어 텍스트를 생성모델 별 허용 컨텍스트gpt-3.5-turbo-16k : 16k의 컨텍스트 길이를 처리할 수 있음suffix가 없으면 일반적으로 4kgpt-3.5-turbo-0613 와 같이 날짜가 suffix로 있는 경우는 특정 버전으로 고정된 것API 요금은 송신 입력 토큰과 수신 출력 토큰에 모..

Langchain을 이용해서 특정 웹사이트의 정보를 추출하고 그 정보를 기반으로 검색을 수행해 보자. 잘 익혀두면 다양한 분야에서 사용할 수 있을 것 같다. 출처 http://www.teddynote.com/langchain/langchain-tutorial-06/ https://python.langchain.com/docs/use_cases/web_scraping LangChain에선 Scraping을 위한 3가지 단계의 컴포넌트들을 제공한다. 검색: URL로 쿼리(GoogleSearchAPIWrapper) 로드: URL을 HTML로 변환(AsyncHtmlLoader, AsyncChromiumLoader) 변환: HTML을 형식화된 텍스트로 변환(HTML2Text, Beautiful Soup) 여기서 ..

ChatGPT를 사용하면 기본적으로 제공되는 게 문맥을 이해하며 대화하는 것이다. 하나의 대화 내에서 발생한 히스토리를 가지고 대화를 할 수 있다. 내 이름을 말해주고 이름을 물어봤다. 내 이름을 잘 기억하고 있다. 앞선 포스팅에서 했던 Llama2 한테도 물어보자. 방금 말해줬는데 까먹었나 보다 ㅠ. 기본적으로 LLM은 상태를 저장하기 위한 Memory를 가지고 있지 않다. 기억력을 갖게 하기위한 가장 간단한 방법은 대화 히스토리를 저장하고 이를 대화에 함께 전달하는 것이다. 뭔 소리 하는진 잘 모르겠지만 어쨌든 내 이름을 알고 있다. 좀 억지로 했는데 langchain에서 Memory 기능을 제공해주고 있다. Docs ConversationBufferMemory ConversationBufferWin..

Llama 2는 메타에서 공개한 대형 언어 오픈소스 모델이다. ChatGPT에서 제공하는 API를 사용해 애플리케이션을 개발할 수도 있지만, 비용, 보안, 안정성 등 다양한 이슈가 있을 수 있다. 그럼에도 범용 LLM을 위해선 ChatGPT를 사용하는 게 좋겠지만, 특정 도메인을 위해 사용할 애플리케이션은 sLLM (소형 언어 모델)을 사용하는 경우가 많아지고 있다. 이를 위해 가장 먼저 시작해야 하는 단계가 llama 2를 로컬환경에 띄우는 것이다. 그리고 여기에 LangChain을 결합하면 손쉽게 애플리케이션을 만들 수 있다. Steps ollama로 로컬 환경에 llama 2 실행하기 LangChain과 연결하기 대화형 애플리케이션 만들기 1. Ollama로 로컬 환경에 llama 2 실행하기 ol..