AI 요약
데이터베이스 관리 도구 제작사인 DB Pro는 프로젝트의 규모가 크지 않은 대다수 초기 단계 애플리케이션에서 반드시 복잡한 데이터베이스(DB)가 필요한지 의문을 제기했습니다. SQLite가 단일 파일이고 PostgreSQL이 파일 디렉토리인 것처럼, 모든 DB는 결국 파일 시스템을 읽고 쓰는 추상화 계층에 불과하다는 것이 핵심입니다. DB Pro는 Go, Bun, Rust 언어를 사용하여 JSONL(Newline-delimited JSON) 기반의 서버를 구축하고 성능을 테스트했습니다. 분석 결과, 파일 전체를 매번 스캔하는 방식은 데이터가 늘어남에 따라 O(n) 복잡도로 성능이 저하되지만, 메모리에 해시 맵으로 로드하는 방식을 병행하면 매우 효율적인 처리가 가능함을 보여줍니다. 결국 무조건적인 DB 도입보다는 서비스의 실제 규모를 파악하고 그에 맞는 저장 전략을 선택하는 것이 엔지니어링 측면에서 더 합리적일 수 있다는 메시지를 전달합니다.
핵심 인사이트
- DB의 본질은 파일: SQLite는 단일 파일이며, PostgreSQL은 프로세스가 앞단에 있는 파일 디렉토리 구조로, 모든 DB는 결국 코드가 호출하는
open()과 같은 파일 시스템 입출력을 수행합니다. - 테스트 환경 구축: Go, Bun, Rust 세 가지 언어로 HTTP 서버를 구축하고
wrk도구를 사용하여users.jsonl,products.jsonl,orders.jsonl등 3가지 플랫 파일 기반의 저장 전략을 벤치마킹했습니다. - JSONL 포맷 활용: 한 줄에 하나의 JSON 레코드를 저장하고 쓰기 시 파일 끝에 추가(append)하는 형식을 사용하여 데이터 관리를 간소화했습니다.
주요 디테일
- O(n) 읽기 방식: 요청 시마다 파일을 열고 ID를 찾을 때까지 매 줄을 파싱하는 방식은 데이터 규모에 비례해 속도가 느려지지만, 구현이 매우 단순합니다.
- Go 구현 방식:
bufio.NewScanner를 사용해 1MB 크기의 버퍼를 할당하고,json.Unmarshal로 데이터를 검증하며 ID 일치 여부를 확인합니다. - Bun(TypeScript) 구현 방식:
createReadStream과createInterface를 통해 스트림 방식으로 파일을 읽으며, ID를 찾는 즉시 스트림을 파괴(stream.destroy())하여 자원을 관리합니다. - Rust 구현 방식:
BufReader와lines().flatten()을 사용하여 안정적으로 파일을 한 줄씩 읽고serde_json으로 직렬화를 처리합니다. - DB Pro의 관점: DB Pro는 Mac, Windows, Linux용 DB 클라이언트를 개발하는 업체임에도 불구하고, 서비스 규모가 작다면 DB 없이 시작하는 것이 합리적일 수 있다는 기술적 중립성을 보여줍니다.
향후 전망
- 미니멀리즘 아키텍처의 부상: 복잡한 클라우드 DB 비용을 절감하기 위해 초기 스타트업이나 소규모 사이드 프로젝트에서 JSONL 등 경량 파일 기반 저장 방식이 선호될 수 있습니다.
- 마이그레이션 전략 중요성: 파일 기반으로 시작한 프로젝트가 성장함에 따라 실제 DB로 전환하기 위한 추상화 계층 설계와 데이터 마이그레이션 도구에 대한 수요가 증가할 것으로 보입니다.
출처:hackernews