AI 요약
본 기사는 복잡한 확장성이나 복제 기능 없이, 로컬 환경에서 빠르고 안정적으로 동작하는 '심플한 S3' 저장소를 찾는 개발자의 여정을 담고 있습니다. 저자는 AI 산업에 집중하며 인터페이스 지원을 중단한 Minio와 성능 저하 문제가 발생한 SeaweedFS, 그리고 지나치게 복잡한 CEPH 등을 배제했습니다. 대안으로 선택된 Versity S3 Gateway(Versity GW)는 샌디아 국립 연구소와 미군 등 주요 기관에서 검증된 도구로, 일반적인 POSIX 파일 시스템을 백엔드로 활용합니다. Versity GW는 객체 메타데이터 저장에 xattrs를 사용하며, 테스트 결과 LAN 환경에서 즉각적인 응답 속도와 최대 대역폭을 기록하며 저자의 요구사항을 완벽히 충족시켰습니다.
핵심 인사이트
- 주요 솔루션의 한계: Minio는 AI 산업으로의 방향 전환 및 테스트 코드의 결함(Mocking 기반 테스트의 한계)으로 인해 신뢰를 잃었으며, SeaweedFS는 LAN 환경에서도 10mbit/s 수준의 느린 속도를 보였습니다.
- 검증된 기술력: Versity GW는 Sandia National Labs, Los Alamos National Lab, 미군 및 다수의 대학에서 이미 사용 중인 고성능 S3 게이트웨이 솔루션입니다.
- 기술적 차별점: Versity GW는 로컬 파일 시스템의 확장 속성(xattrs)을 사용해 메타데이터를 관리하며, 이를 통해 별도의 복잡한 레이어 없이도 빠른 성능을 보장합니다.
주요 디테일
- 데이터 규모: 저자는 복잡한 데이터가 아닌 수 GB 수준의 일반적인 파일을 로컬 네트워크(LAN) 상에서 관리하고자 했습니다.
- 성능 수치: SeaweedFS의 경우 초기 수백 KB/s에서 최대 10mbit/s로 가속되는 데 그쳤으나, Versity GW는 rclone 테스트 결과 라인 레이트(Line rate) 다운로드 속도를 기록했습니다.
- 다양한 백엔드 지원: Versity GW는 일반 POSIX 파일 시스템 외에도 Versity의 ScoutFS 파일 시스템을 지원하며, 다른 S3 백엔드에 대한 프록시 역할도 수행 가능합니다.
- 관리 편의성: 웹 인터페이스를 제공하여 버킷 관리, 익명/공개 읽기 설정 및 정책 관리가 용이합니다.
- Rust 기반 프로젝트: Garage와 같은 신규 프로젝트는 Rust로 구축되어 흥미롭지만, 자금 조달 문제로 개발이 일시 중단되는 등 아직 성숙도가 낮다는 평가를 받았습니다.
향후 전망
- ZFS 기반 저장소: 저자는 향후 현재 개발 중인 'ZFS 네이티브 객체 저장소'가 출시되면 이를 Versity GW의 대체제로 검토할 계획입니다.
- 경량 S3 시장의 지속: RustFS와 같은 새로운 컨텐더들의 등장으로, 엔터프라이즈급 CEPH가 아닌 개발자 친화적인 경량 S3 호환 레이어에 대한 수요와 공급이 지속될 것으로 보입니다.
출처:hackernews