bong-u/til

OpenSearch를 활용한 RAG 실습

🤖 인공지능

배경

테커 부트캠프에서 팀프로젝트를 진행 중이다.
우리 팀의 주제는 특정 인물에게 상담을 받는 것 같은 대화를 할 수 있는 챗봇을 만드는 것이다.
이를 위해 특정 인물이 했던 말을 모아 데이터셋으로 만들고 이를 RAG 모델에 적용시키려고 한다.

순서

일론 머스크가 TED에서 한 인터뷰를 텍스트로 가져온다.
OpenSearch 도커 컨테이너를 실행한다.
텍스트 데이터를 임베딩해서 OpenSearch에 저장한다.
RAG 모델이 OpenSearch를 쿼리하여 대답을 생성한다.

1. 일론 머스크 인터뷰 텍스트 가져오기

유튜브에서 “스크립트 보기"를 통해 인터뷰 자막을 가져온다.

Fastapi, RabbitMQ, Celery 연동

🐍 Python

배경

테커 부트캠프에서 팀프로젝트를 진행 중이다.
웹소켓을 통해 클라이언트로부터 받은 데이터를 gpt를 통해 처리하고, 결과를 다시 클라이언트로 보내는 서비스를 구현하고 있다.
여러 사용자의 요청을 원활하게 처리하기 위해 분산 비동기 시스템을 구축하려고 한다.

목표

Fastapi, RabbitMQ, Celery를 각자 docker 컨테이너로 구동시키고 연동한다.

docker-compose.yml

 1version: '3'
 2
 3services:
 4  rabbitmq:
 5    image: rabbitmq:3
 6    ports:
 7      - "5672:5672" # RabbitMQ의 AMQP 포트
 8      - "15672:15672" # RabbitMQ 관리 인터페이스 포트
 9    volumes:
10      - rabbitmq_data:/var/lib/rabbitmq
11    expose:
12      - "5672"
13      - "15672"
14
15  celery_worker:
16    build:
17      context: .
18      dockerfile: Dockerfile.worker
19    command: celery -A utils.celery_worker worker --loglevel=info
20    working_dir: /app
21    volumes:
22      - ./app/utils:/app/utils
23    environment:
24      - CELERY_BROKER_URL=amqp://guest:guest@rabbitmq:5672//
25    depends_on:
26      - rabbitmq
27
28  celery_beat:
29    image: celery:4
30    command: celery -A celery_beat beat --loglevel=info
31    working_dir: /app
32    environment:
33      - CELERY_BROKER_URL=amqp://guest:guest@rabbitmq:5672//
34    volumes:
35      - ./app/utils:/app
36    depends_on:
37      - rabbitmq
38  
39  web:
40    image: python:slim
41    working_dir: /app
42    # interactive mode
43    stdin_open: true
44    # tty mode
45    tty: true
46    environment:
47      - CELERY_BROKER_URL=amqp://guest:guest@rabbitmq:5672//
48    volumes:
49      - ./app:/app
50    ports:
51      - "8000:8000"
52    depends_on:
53      - rabbitmq
54      - celery_worker
55      - celery_beat
56
57volumes:
58  rabbitmq_data:

Celery worker에만 Dockerfile.worker를 이미지로 사용한 이유
1. worker에 추가적으로 python 라이브러리를 설치해야함
2. Celery 공식 도커 이미지가 deprecated 되었음.
Fastapi는 시간 관계상 따로 이미지를 만들지 않고 python:slim 이미지를 사용했다.

Dockerfile.worker

 1FROM python:slim
 2
 3# 필요한 패키지 설치
 4# ffmpeg가 필요해서 추가하였다
 5RUN apt-get update && \
 6apt-get install -y --no-install-recommends gcc libpq-dev ffmpeg && \
 7rm -rf /var/lib/apt/lists/*
 8
 9# 필요한 파이썬 패키지 설치
10COPY requirements_celery_worker.txt ./
11RUN pip install --no-cache-dir -r requirements_celery_worker.txt

celery_worker.py

1import os
2from celery import Celery
3
4broker_url = os.getenv('CELERY_BROKER_URL')
5app = Celery('worker', broker=broker_url, backend="rpc://")
6
7@app.task
8def add(x, y):
9    return x + y

broker_url은 RabbitMQ의 AMQP 주소를 의미한다.
backend는 결과를 받기 위한 백엔드로 RabbitMQ를 사용한다.

Celery worker 사용 방법

 1from celery_worker import add
 2
 3# task를 비동기로 실행
 4result = add.delay(4, 4)
 5
 6# apply_async는 delay와 동일한 기능 수행
 7# delay와 달리 추가로 여러 옵션을 설정 가능
 8result = add.apply_async((4, 4))
 9
10# 결과를 받기 위해 get()을 사용, 블로킹 호출
11result.get()
12
13# 작업이 완료되었는지 확업
14result.ready()
15
16# 작업이 실패했는지 확인
17result.successful()
18# or
19result.failed()
20
21# 작업의 상태 확인 (PENDING, STARTED, SUCCESS, FAILURE)
22result.state()

[모각코24하계] 02 : 결과

👨‍💻 모각코

RAG (Retrieval-Augmented Generation) 이론 정리

RAG는 검색과 생성을 결합한 모델로, 검색을 통해 얻은 정보를 바탕으로 생성을 수행하는 모델

LLM의 문제점
- 할루시네이션: 생성 모델이 훈련 데이터에 없는 내용을 생성하는 현상
- 최신의 응답을 기대하는 상황에서 오래되었거나 일반적인 정보를 생성하는 문제
- 신뢰할 수 없는 출처로부터 정보를 생성하는 문제
RAG는 위에서 서술한 LLM 문제의 일부를 해결하기 위해 사용할 수 있는 수단이다.

OpenSearch

OpenSearch는 오픈소스 검색 및 분석 엔진으로, 엘라스틱서치의 포크 버전

벡터 데이터베이스 : 벡터 데이터를 저장하고 쿼리할 수 있는 데이터베이스

[모각코24하계] 03 : 결과

👨‍💻 모각코

Fastapi, RabbitMQ, Celery 연동

배경

테커 부트캠프에서 팀프로젝트를 진행 중이다.
웹소켓을 통해 클라이언트로부터 받은 데이터를 gpt를 통해 처리하고, 결과를 다시 클라이언트로 보내는 서비스를 구현하고 있다.
여러 사용자의 요청을 원활하게 처리하기 위해 분산 비동기 시스템을 구축하려고 한다.

목표

Fastapi, RabbitMQ, Celery를 각자 docker 컨테이너로 구동시키고 연동한다.

docker-compose.yml

 1version: '3'
 2
 3services:
 4  rabbitmq:
 5    image: rabbitmq:3
 6    ports:
 7      - "5672:5672" # RabbitMQ의 AMQP 포트
 8      - "15672:15672" # RabbitMQ 관리 인터페이스 포트
 9    volumes:
10      - rabbitmq_data:/var/lib/rabbitmq
11    expose:
12      - "5672"
13      - "15672"
14
15  celery_worker:
16    build:
17      context: .
18      dockerfile: Dockerfile.worker
19    command: celery -A utils.celery_worker worker --loglevel=info
20    working_dir: /app
21    volumes:
22      - ./app/utils:/app/utils
23    environment:
24      - CELERY_BROKER_URL=amqp://guest:guest@rabbitmq:5672//
25    depends_on:
26      - rabbitmq
27
28  celery_beat:
29    image: celery:4
30    command: celery -A celery_beat beat --loglevel=info
31    working_dir: /app
32    environment:
33      - CELERY_BROKER_URL=amqp://guest:guest@rabbitmq:5672//
34    volumes:
35      - ./app/utils:/app
36    depends_on:
37      - rabbitmq
38  
39  web:
40    image: python:slim
41    working_dir: /app
42    # interactive mode
43    stdin_open: true
44    # tty mode
45    tty: true
46    environment:
47      - CELERY_BROKER_URL=amqp://guest:guest@rabbitmq:5672//
48    volumes:
49      - ./app:/app
50    ports:
51      - "8000:8000"
52    depends_on:
53      - rabbitmq
54      - celery_worker
55      - celery_beat
56
57volumes:
58  rabbitmq_data:

Celery worker에만 Dockerfile.worker를 이미지로 사용한 이유
1. worker에 추가적으로 python 라이브러리를 설치해야함
2. Celery 공식 도커 이미지가 deprecated 되었음.
Fastapi는 시간 관계상 따로 이미지를 만들지 않고 python:slim 이미지를 사용했다.

Dockerfile.worker

 1FROM python:slim
 2
 3# 필요한 패키지 설치
 4# ffmpeg가 필요해서 추가하였다
 5RUN apt-get update && \
 6apt-get install -y --no-install-recommends gcc libpq-dev ffmpeg && \
 7rm -rf /var/lib/apt/lists/*
 8
 9# 필요한 파이썬 패키지 설치
10COPY requirements_celery_worker.txt ./
11RUN pip install --no-cache-dir -r requirements_celery_worker.txt

celery_worker.py

1import os
2from celery import Celery
3
4broker_url = os.getenv('CELERY_BROKER_URL')
5app = Celery('worker', broker=broker_url, backend="rpc://")
6
7@app.task
8def add(x, y):
9    return x + y

broker_url은 RabbitMQ의 AMQP 주소를 의미한다.
backend는 결과를 받기 위한 백엔드로 RabbitMQ를 사용한다.

Celery worker 사용 방법

 1from celery_worker import add
 2
 3# task를 비동기로 실행
 4result = add.delay(4, 4)
 5
 6# apply_async는 delay와 동일한 기능 수행
 7# delay와 달리 추가로 여러 옵션을 설정 가능
 8result = add.apply_async((4, 4))
 9
10# 결과를 받기 위해 get()을 사용, 블로킹 호출
11result.get()
12
13# 작업이 완료되었는지 확업
14result.ready()
15
16# 작업이 실패했는지 확인
17result.successful()
18# or
19result.failed()
20
21# 작업의 상태 확인 (PENDING, STARTED, SUCCESS, FAILURE)
22result.state()

Github Actions에서 pytest 실행하기

🐍 Python

배경

테커 부트캠프에서 팀프로젝트를 진행 중이다.
현재 비즈니스 로직을 수행하는 함수를 대상으로 Unit Test가 필요하다.
Unit Test 코드를 작성하고, Github Actions를 이용하여 자동으로 테스트가 수행되도록 설정하고자 한다.

run-pytest.yml

 1name: Run pytest
 2
 3# main 또는 dev 브랜치에 pull request가 발생하면 실행
 4on:
 5  pull_request:
 6    branches:
 7      - main
 8      - dev
 9
10jobs:
11  test:
12    runs-on: ubuntu-latest
13
14    steps:
15      - name: Checkout code
16        uses: actions/checkout@v2
17
18      - name: Set up Python
19        uses: actions/setup-python@v2
20        with:
21          python-version: '3.12'
22
23      - name: Install dependencies
24        run: |
25          python -m pip install --upgrade pip
26          pip install -r requirements.txt
27
28      - name: Run tests
29        run: pytest .

결과

Run pytest .
============================= test session starts ==============================
platform linux -- Python 3.12.4, pytest-8.2.2, pluggy-1.5.0
rootdir: /home/runner/work/Backend/Backend
plugins: anyio-4.4.0
collected 13 items

app/tests/test_crud_chatroom.py ...                                      [ 23%]
app/tests/test_crud_mentor.py ...                                        [ 46%]
app/tests/test_crud_prescription.py ...                                  [ 69%]
app/tests/test_crud_user.py ....                                         [100%]

============================== 13 passed in 0.58s ==============================

생각보다 간단하게 구현할 수 있었다.
테스트 커버리지 100% 찍고, CD까지 구현하면 더할 나위 없을 것 같다.

[모각코24하계] 04 : 계획

👨‍💻 모각코

오늘의 목표

Github Actions를 이용하여 pytest 자동화 테스트 환경 구축

[모각코24하계] 04 : 결과

👨‍💻 모각코

배경

테커 부트캠프에서 팀프로젝트를 진행 중이다.
현재 비즈니스 로직을 수행하는 함수를 대상으로 Unit Test가 필요하다.
Unit Test 코드를 작성하고, Github Actions를 이용하여 자동으로 테스트가 수행되도록 설정하고자 한다.

run-pytest.yml

 1name: Run pytest
 2
 3# main 또는 dev 브랜치에 pull request가 발생하면 실행
 4on:
 5  pull_request:
 6    branches:
 7      - main
 8      - dev
 9
10jobs:
11  test:
12    runs-on: ubuntu-latest
13
14    steps:
15      - name: Checkout code
16        uses: actions/checkout@v2
17
18      - name: Set up Python
19        uses: actions/setup-python@v2
20        with:
21          python-version: '3.12'
22
23      - name: Install dependencies
24        run: |
25          python -m pip install --upgrade pip
26          pip install -r requirements.txt
27
28      - name: Run tests
29        run: pytest .

결과

Run pytest .
============================= test session starts ==============================
platform linux -- Python 3.12.4, pytest-8.2.2, pluggy-1.5.0
rootdir: /home/runner/work/Backend/Backend
plugins: anyio-4.4.0
collected 13 items

app/tests/test_crud_chatroom.py ...                                      [ 23%]
app/tests/test_crud_mentor.py ...                                        [ 46%]
app/tests/test_crud_prescription.py ...                                  [ 69%]
app/tests/test_crud_user.py ....                                         [100%]

============================== 13 passed in 0.58s ==============================

생각보다 간단하게 구현할 수 있었다.
테스트 커버리지 100% 찍고, CD까지 구현하면 더할 나위 없을 것 같다.

Fastapi - 통합테스트 In-Memory DB에서 테이블이 없다는 문제

🐍 Python

상황

테커 부트캠프에서 팀프로젝트를 진행 중이다.
단위테스트 코드는 작성이 완료되었고, 통합테스트 코드를 작성 중이다.
sqlite in-memory db를 사용해서 테스트 중인데, 테이블이 없다는 에러가 발생했다.
테스트 전에 테이블을 생성하는 코드가 실행됨에도 불구하고, 에러가 발생한다.
인메모리가 아닌 파일로 저장하는 방법을 사용하면 에러가 발생하지 않는 것을 보고 문제의 원인을 파악할 수 있었다.

코드

 1from database import Base, engine
 2from fastapi.testclient import TestClient
 3
 4from main import app
 5from models import *
 6
 7# 테이블을 생성하는 코드이다
 8Base.metadata.create_all(bind=engine)
 9
10client = TestClient(app)
11
12
13class TestUserApi:
14
15    def test_create_user(self):
16        test_nickname = "test_nickname"
17        # 아래 요청을 처리하는 코드에서 오류가 발생한다
18        response = client.post(
19            "/api/users",
20            json={"nickname": test_nickname},
21        )
22        assert response.status_code == 200
23        assert response.json()["nickname"] == test_nickname

원인

테이블을 생성할때 만들어지는 세션과 TestClient가 요청을 처리할 때 사용하는 세션이 다르다.

해결 방법

TestClient내에 get_db() 함수를 임의로 주입한다
데이터베이스를 연결할때, 단일 세션을 사용하도록 한다.

 1from database import Base, engine, get_db
 2from sqlalchemy.orm import sessionmaker
 3from fastapi.testclient import TestClient
 4
 5from main import app
 6from models import *
 7
 8Base.metadata.create_all(bind=engine)
 9
10client = TestClient(app)
11
12# 테스트에서 사용할 세션을 생성한다
13TestingSessionLocal = sessionmaker(autocommit=False, autoflush=False, bind=engine)
14
15
16Base.metadata.create_all(bind=engine)
17
18# get_db() 함수를 재정의한다
19def override_get_db():
20    try:
21        db = TestingSessionLocal()
22        yield db
23    finally:
24        db.close()
25
26# get_db() 함수를 재정의한 함수를 주입한다
27app.dependency_overrides[get_db] = override_get_db
28
29
30class TestUserApi:
31
32    def test_create_user(self):
33        test_nickname = "test_nickname"
34        response = client.post(
35            "/api/users",
36            json={"nickname": test_nickname},
37        )
38        assert response.status_code == 201
39        assert response.json()["nickname"] == test_nickname

1engine = create_engine(    
2    os.getenv("DATABASE_URL"),
3    # sqlite를 사용할 때, 여러 스레드에서 연결이 가능하도록 설정한다
4    connect_args={"check_same_thread": False},
5    # 단일 세션을 사용하도록 설정한다
6    poolclass=StaticPool,
7)

Nginx에서 HTTPS 설정하기

🔨 개발 도구

배경

테커 부트캠프를 진행중이다.
모든 프로그램은 docker-compose로 구성되어 있다.
AWS EC2에 구동 중인 서버에 HTTPS를 적용하려고 한다.
도메인 구매 없이 시도를 했으나, AWS에서 제공하는 도메인으로 SSL 인증서를 발급받을 수 없었다.
따라서, 도메인을 구매하고, Route 53을 통해 도메인을 연결했다.

목표

Nginx를 이용하여 HTTPS를 적용한다.

방법

1. docker-compose.yml에 certbot 컨테이너를 추가한다.

 1certbot:
 2    image: certbot/certbot
 3    container_name: certbot
 4    volumes:
 5        - ./certbot/conf:/etc/letsencrypt
 6        - ./certbot/www:/var/www/certbot
 7    depends_on:
 8        - nginx
 9
10    # certbot을 무한루프로 돌리기 위해 사용
11    entrypoint: "/bin/sh -c 'trap exit TERM; while :; do sleep 6h & wait $${!}; done;'"

2. nginx.conf를 수정한다.

# certbot을 사용하기 위한 설정
location /.well-known/acme-challenge/ {
    allow all;
    root /var/www/certbot;
}

3. certbot 컨테이너를 활용해서 SSL 인증서를 발급받는다.

 1docker exec -it certbot certbot certonly \
 2  # 웹 루트 방식으로 인증서를 생성
 3  --webroot \
 4  # 웹 서버의 웹 루트 디렉터리 경로를 지정
 5  --webroot-path=/var/www/certbot \
 6  # 인증서 갱신 및 중요한 알림을 받을 이메일 주소를 지정
 7  --email {이메일 주소} \
 8  # Let's Encrypt 서비스 약관에 동의
 9  --agree-tos \ 
10  # EFF(Electronic Frontier Foundation) 뉴스레터를 받지 않도록 설정
11  --no-eff-email \
12  # SSL 인증서를 생성할 도메인 이름을 지정
13  -d {도메인 이름}

4. Nginx 웹 서버와 함께 사용할 SSL 설정 파일을 다운로드

다운 받은 후 파일을 알맞은 위치로 이동시킨다.
해당 프로젝트에서는 /etc/letsencrypt/로 이동시켰다.

1sudo curl -s https://raw.githubusercontent.com/certbot/certbot/master/certbot-nginx/certbot_nginx/_internal/tls_configs/options-ssl-nginx.conf > "./options-ssl-nginx.conf"
2
3sudo curl -s https://raw.githubusercontent.com/certbot/certbot/master/certbot/certbot/ssl-dhparams.pem > "./ssl-dhparams.pem"

5. nginx.conf를 수정한다.

필요한 부분만 추가하였다.

server {
    listen 80;
    charset utf-8;

    server_name {도메인 이름};

    # HTTP 요청을 HTTPS로 리다이렉트
    location / {
        return 301 https://$host$request_uri;
    }
}
server {
    listen 443 ssl;
    charset utf-8;

    server_name { 도메인 이름 };

    # SSL 인증서 설정
    ssl_certificate /etc/letsencrypt/live/api.forest-of-thoughts.site/fullchain.pem;
    # SSL 인증서 키 설정
    ssl_certificate_key /etc/letsencrypt/live/api.forest-of-thoughts.site/privkey.pem;
    # SSL 설정 파일 포함
    include /etc/letsencrypt/options-ssl-nginx.conf;
    # Diffie-Hellman 키 설정
    ssl_dhparam /etc/letsencrypt/ssl-dhparams.pem;
}

6. nginx 컨테이너 설정을 수정한다.

1nginx:
2    image: nginx:stable
3    ports:
4        - "80:80"
5        - "443:443"
6    volumes:
7        - ./nginx.conf:/etc/nginx/nginx.conf
8        - ./certbot/conf:/etc/letsencrypt
9        - ./certbot/www:/var/www/certbot

해

Issue - fastapi에서 websocket 404 문제

🐍 Python

배경

테커 부트캠프 최종발표 전날이다.
gpt 프롬프트 부분 수정을 main 브랜치에 반영하고, EC2 서버에 배포했다.

문제

배포한 서버에서 websocket 연결이 404 에러를 반환한다. (내일이 최종 발표인데,,,)
다른 http 요청은 정상적으로 처리되지만 웹소켓만 처리되지 않는 것을 확인했다.
nginx의 log

1{IP주소} - - [02/Aug/2024:10:59:04 +0000] "GET /ws/chatrooms/294?user_id=296 HTTP/1.1" 404 22 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.5 Safari/605.1.15"
2{IP주소} - - [02/Aug/2024:10:59:05 +0000] "GET /ws/chatrooms/294?user_id=296 HTTP/1.1" 404 22 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.5 Safari/605.1.15"

사고흐름

nginx 설정 문제인가? X
- nginx 설정은 변경되지 않았다.
배포환경의 문제인가? X
- 로컬에서 실행한 서버에서도 동일한 문제가 발생하였다.
이번 배포에서 변경된 소스코드가 문제인가? X
- 육안으로 확인했을 때는, 변경된 부분이 웹소켓과 관련이 없다.
- 로컬에서 이전 버전으로 reset 후 시도 해보았지만 문제가 해결되지 않았다.
Docker image 문제인가? X
- 백엔드 서버는 python:slim 이미지를 사용하고 있으며, 해당 이미지가 변경되어서 문제가 발생할 가능성이 있다고 생각했다.
- 로컬에서 docker image를 사용하지 않고 실행해보았지만 문제가 해결되지 않았다.
- 이때, 로그에서 warning 메시지를 확인했다.
```
WARNING:  No supported WebSocket library detected. Please use "pip install 'uvicorn[standard]'", or install 'websockets' or 'wsproto' manually.
```

원인

모종의 이유로, 이전에 개발/배포할때에는 존재했던 웹소켓 관련 라이브러리가 사라진 것이다.

오류를 해결하고 조사해본 결과 fastapi 레포지토리에 6시간 전 merge된 PR을 확인할 수 있었다. (https://github.com/fastapi/fastapi/pull/11935)
해당 PR에서는 pip install fastapi[standard] 를 통해 표준 종속 라이브러리를 설치하는 기능이 추가되었다.
이로 인해, uvicorn[standard] 라이브러리를 설치하지 않았을 때, 웹소켓 관련 라이브러리가 설치되지 않아 발생한 문제였다.

해결

requirements.txt에 websockets를 추가해서 문제를 해결할 수 있었다.

배운 점

중요한 프로젝트를 할 때 requirements.txt에 항상 각 라이브러리에 버전을 명시해야겠다는 생각이 들었다.
이번에도 버전을 명시했다면, 라이브러리가 업데이트 되더라도 문제가 발생하지 않았을 것이다.
또한, 로그를 잘 확인하고, warning 메시지를 놓치지 않도록 주의해야겠다.