재밌는 Coding

1. 시험환경

    · AWS EC2 Ubuntu Linux

        - t2.large

        - AMI-ID: ami-09a7535106fbd42d5 (ubuntu/images/hvm-ssd/ubuntu-jammy-22.04-amd64-server-20240301)

2. 목적

    · Langchain 관련 라이브러리를 설치한다.

    · OpenAI의 API와 연동하여 Langchain 기초 사용법을 학습한다.

3. 적용

    ① 테스트를 위한 라이브러리를 설치한다.

        - $ sudo apt install python3-pip

        - $ pip install langchain
        - $ pip install langchain-openai
        - $ pip install bs4
        - $ pip install sentence-transformers
        - $ pip install faiss-cpu

    ② OpenAI의 API 키를 이용하여 질문하고 응답 결과를 확인한다.

        - 코드)

        - 결과)

    ③ PromptTemplate 클래스를 사용하여 동적으로 프롬프트(질문)를 생성한다.

        - 코드)

        - 결과)

    ④ 동적으로 생성한 프롬프트(질문)를 OpenAI에게 질문하고 이에 대한 응답을 확인한다.

        - 코드)

        - 결과)

    ⑤ ConversationChain을 사용하여 두 입력에 대한 대화 예측을 수행하고 그 결과를 출력한다.

        - 코드)

        - 결과)

    ⑥ 로드한 특정 문서를 1000자 단위로 나누고, 분할된 chunk의 갯수 및 첫 번째 chunk를 출력한다.

        - 코드)

        - 결과)

    ⑦ ⑥과정에서 수행한 결과(chunk)를 요약하여 출력하는 코드가 추가되었다.

        - 코드)

        - 결과)

    ⑧ HuggingFace 임베딩을 기반으로 데이터 벡터화 및 FAISS 인덱싱 시스템을 통해 이를 저장한다.

        - 코드)

        - 결과)

    ⑨ 벡터 스토어를 활용하여 최근 이슈에 대한 쿼리를 실행하고, 결과를 확인한다.
        - 코드)

        - 결과)  Chat GTP3는 2024년 4월 기준(러시아 대통령 선거) 정보를 갖고 있지 않다.