[멘토링]Vector DB 도입 질문(답변 희망 멘토 : lu.na)

[yoondonggyu]

🙋질문자

판교 3기 / 9팀 (Promise9) - estar.yoon(윤동규)/AI

🙋 답변 희망 멘토
@HyonaYu
✏️ 궁금한 내용

RAG(Retrieval-Augmented Generation) 기반 서비스에서 VectorDB를 선택할 때, ChromaDB, FAISS-GPU, Milvus 중 어떤 기준으로 선택하는 것이 적절한지 궁금합니다.

[추가 이해를 위한 디테일한 질문]

프로덕션 환경에서 각 VectorDB의 실제 운영 경험 및 고려사항
FAISS-GPU와 Milvus가 요즘 많이 사용된다고 들었는데, 실제 현업에서의 선호도
프로젝트 규모/팀 상황에 따른 VectorDB 선택 기준

👀 시도한 방식

현재 설계: ChromaDB 선택

저희 프로젝트(취준생 AI 어시스턴트)에서는 RAG 기반 컨텍스트 검색을 위해 ChromaDB를 선택했습니다.

선택 이유

항목	판단
개발 기간	6주 부트캠프 프로젝트로, 빠른 프로토타이핑 필요
데이터 규모	사용자당 이력서 1~2개, 채용공고 ~10개, 면접 피드백 ~20개 (소규모)
설치 복잡도	pip install chromadb로 간단 설치
Python 친화성	LangChain과 자연스러운 통합

Collection 설계

VectorDB (ChromaDB)
├── resumes          # 이력서 + 포트폴리오 임베딩
├── job_postings     # 채용공고 임베딩
├── analysis_results # 분석 결과 임베딩
├── interview_feedback # 면접 Q&A + 피드백
└── chat_context     # 중요 대화 컨텍스트

대안 검토: FAISS-GPU vs Milvus

항목	ChromaDB	FAISS-GPU	Milvus
용도	프로토타입/소규모	대규모/고성능 검색	분산/프로덕션급
스케일	~100K 벡터	~1B 벡터	~10B+ 벡터
GPU 가속	❌	✅	✅ (선택적)
메타데이터 필터링	✅ 내장	❌ 별도 관리	✅ SQL-like
분산 시스템	❌	❌	✅
운영 복잡도	낮음	중간	높음

고민 포인트

1. FAISS-GPU

   • 장점: GPU 가속으로 검색 속도 매우 빠름 (100만 벡터에서 <10ms)
   • 단점: 메타데이터 저장 불가 → user_id, document_type 등 별도 DB 관리 필요
   • 의문: 메타데이터 필터링이 필요한 RAG에서 실제로 많이 쓰이는지?

2. Milvus

   • 장점: 분산 시스템, 메타데이터 필터링, 프로덕션급
   • 단점: Docker + etcd + MinIO 구성 필요, 6주 프로젝트에 과할 수 있음
   • 의문: Milvus Lite로 개발 → 프로덕션 Milvus 마이그레이션 패턴이 실제로 유효한지?

3. ChromaDB 한계

   • 대규모 트래픽 시 성능 보장 불확실
   • 분산/확장 미지원
   • 의문: 프로젝트 완료 후 확장 시 마이그레이션 비용은?

⏭️ 이제 어떻게 하려고 하는지?

현재 계획: ChromaDB 유지 + 확장성 문서화

## 향후 확장 계획 (Architecture Decision Record)

### 현재: ChromaDB
- 6주 개발 기간 대비 적절한 복잡도
- 예상 사용자 규모 (100명 이하) 감당 가능

### Phase 2 (사용자 1,000+ 시): FAISS 마이그레이션 검토
- 검색 성능 벤치마크 후 결정
- 메타데이터는 PostgreSQL과 조인

### Phase 3 (엔터프라이즈): Milvus 도입 검토
- 분산 환경, 고가용성 필요 시
- Kubernetes 기반 배포

질문 요약

1. 현업에서 FAISS-GPU와 Milvus 중 어떤 것을 더 선호하시나요?
2. 소규모 프로젝트에서 ChromaDB → FAISS/Milvus 마이그레이션 경험이 있으시다면, 주의점은?
3. 메타데이터 필터링이 중요한 RAG 시스템에서 FAISS + 별도 RDB 조합 vs Milvus 단독 중 추천하시는 방식은?

[hyona-yu]

@yoondonggyu 안녕하세요:)
우선 현업에서는 서비스시 보통 사내 k8s툴을 이용해서 생성하기 때문에, 인프라쪽에서 안정적으로 서빙이 확신된 버전과 db를 주로 사용합니다. 그래서 최근에는 postgresql 에 잘 붙는 pgvector를 사용했었어요.

faiss-gpu는 개인적으로는 실서빙 이전 실험시에 자주 애용하곤 합니다. milvus는 직접 사용해보진 않았어요.

chromaDB도 괜찮은 선택으로 보입니다. 아무래도 langchain과 쉽게 연동되는 것들 찾으신거같은데, 현 프로젝트 상 스케일이 크진 않을 듯 하여 괜찮지 않을까 싶네요!

그래서 답변을 드리자면,

1. 위의 이유로 둘 다 딱히 선호하는 편은 아닙니다.
2. 보통 vectordb 하나 골라서 구축한담에 volume mount, pod 증설하고 그랬던거 같아요. 근데 보통 마이그레이션이 필요한 상황이 오진 않았습니다.
3. 메타데이터 필터링이 필수라고 하셨는데 chroma도 기본적인 필터링 로직은 적용가능해서 큰문제가 되진 않을거같긴합니다.

[yoondonggyu]

확실히 현업의 사례를 들으면 이해가 바로바로 되는 것 같네요 답변 감사합니다!!!