AI 요약
Node.js, LangChain, Milvus를 활용해 EPUB 전자책 기반 Q&A 어시스턴트를 구축하는 RAG(검색 증강 생성) 튜토리얼이다. 대규모 언어 모델이 책 내용을 영구히 기억하지 못하고 긴 소설을 한 번에 처리할 수 없다는 점에서 출발해, 책을 작은 텍스트 조각으로 분할하고 각 조각을 벡터로 변환해 벡터 DB에 저장하는 방식을 설명한다. 사용자가 질문하면 의미상 가장 유사한 조각들을 먼저 검색한 뒤, 해당 조각들만을 근거로 모델이 답변하도록 하는 두 개의 데이터 흐름(입고: EPUB→챕터→텍스트 조각→벡터→Milvus / 질의: 질문→질문 벡터→유사 조각→프롬프트→모델 답변)을 다룬다. 텍스트를 왜 분할하는지, 벡터 차원이 왜 일치해야 하는지, await가 실제로 반환하는 것이 무엇인지 등 원리 이해에 중점을 둔다.
핵심 포인트
- 사용 기술 스택: Node.js(ESM, .mjs), LangChain(
@langchain/community,@langchain/openai,@langchain/textsplitters), Milvus(@zilliz/milvus2-sdk-node),epub2,html-to-text - 핵심 상수:
VECTOR_DIM = 1024,CHUNK_SIZE = 500,CHUNK_OVERLAP = 50, 컬렉션명epub_books - 임베딩 모델 출력 차원과 Milvus 벡터 필드 차원이 반드시 일치해야 하며, 불일치 시 삽입·검색 실패
embedQuery()는 Promise를 반환하고await로 벡터 배열을 얻으며, 실패 시 try...catch로 처리 필요
향후 전망
- 청킹 전략·오버랩·차원 설정을 튜닝해 검색 정밀도와 답변 품질을 개선하는 방향으로 발전 가능
- Milvus 외 다양한 벡터 DB 및 로컬 임베딩 모델로 확장해 비용·프라이버시 요구에 대응
출처:juejin
