AI 요약
DBOS 개발팀은 자사의 파이썬 지속성 실행(durable execution) 라이브러리를 구축하며, 시스템 복구에 필수적인 '결정론적 워크플로우'를 비동기 환경에서 구현하는 과제를 해결했습니다. 비동기 프로그래밍은 흔히 여러 작업이 동시에 겹쳐 실행되어 순서를 예측하기 어렵다고 여겨지지만, 파이썬의 asyncio 핵심 구조를 분석하면 반대의 결과가 나옵니다. 파이썬의 비동기 메커니즘은 단일 스레드 기반의 이벤트 루프에서 작동하며, 큐(Queue)에 등록된 태스크를 순차적으로 처리하는 방식을 취합니다. 특히 asyncio.gather와 같은 함수는 전달된 코루틴들을 엄격한 FIFO(First-In-First-Out) 순서로 태스크화하여 스케줄러에 등록합니다. 이러한 내부 구조 덕분에 동시 실행 중에도 작업 간의 간섭(interleaving) 순서가 일정하게 유지되며, 이는 곧 장애 발생 시 체크포인트를 활용해 과거의 실행 상태를 정확히 재현할 수 있는 기반이 됩니다.
핵심 인사이트
- 결정론적 복구의 필요성: 지속성 있는 워크플로우는 시스템 장애 후 복구 시, 이전에 완료된 단계는 체크포인트에서 불러오고 미완료된 단계만 재실행하는 리플레이 기반 복구를 위해 실행 순서의 일관성이 필수적임.
- 이벤트 루프의 단일 스레드 특성: 파이썬의 asyncio는 한 번에 하나의 태스크만 실행하며, 현재 태스크가 await를 호출하여 제어권을 넘길 때만 다음 태스크로 전환되는 구조를 가짐.
- FIFO 스케줄링: asyncio.gather에 입력된 코루틴 리스트는 순서대로 태스크로 래핑되어 큐에 쌓이며, 이벤트 루프는 이 큐의 순서를 엄격히 준수하여 실행을 시작함.
주요 디테일
- 코루틴(Coroutine)의 정의: 파이썬 비동기 함수 호출 시 즉시 실행되지 않고 생성되는 '동결된 함수 호출' 상태를 의미하며, 이를 실행하려면 이벤트 루프에 태스크로 등록해야 함.
- 태스크 전환 시점: 실행 중인 태스크가 준비되지 않은 작업을 await 할 때만 이벤트 루프로 제어권이 돌아가며, 이때 스케줄러가 큐의 다음 작업을 꺼내어 실행함.
- 동시성의 착시: I/O 바운드 작업에서 여러 단계가 겹쳐 실행되는 것처럼 보이지만, 실제 CPU 실행 관점에서는 각 단계가 결정론적인 순서로 인터리빙(Interleaving)됨.
- DBOS의 활용: 이러한 파이썬의 '숨겨진 결정론'을 통해 DBOS 라이브러리는 복잡한 비동기 코드에서도 안전한 워크플로우 리플레이를 구현할 수 있었음.
향후 전망
- 신뢰성 높은 서버리스 아키텍처: 파이썬 비동기 프로그래밍의 결정론적 특성을 활용하여, 고성능과 고신뢰성을 동시에 요구하는 분산 시스템 라이브러리 개발이 가속화될 것으로 보임.
- 에러 복구 자동화: 비동기 작업 중 발생하는 비결정론적 요소를 제어함으로써, 복잡한 비즈니스 로직의 트랜잭션 보장 및 자동 복구 메커니즘이 더욱 정교해질 전망임.
출처:hackernews