AI 요약
지난 수십 년간 컴퓨팅 성능은 새로운 시스템 구매만으로도 비약적으로 향상되었으나, 최근 10년 동안은 이러한 '무료 성능 향상'이 정체되면서 에너지 효율과 연산 시간을 단축하기 위한 새로운 숫자 표현 방식(Number Format)이 주목받고 있습니다. AI 분야에서는 연산 속도를 높이기 위해 기존 64비트 표준 대신 16비트, 8비트, 심지어 2비트까지 줄인 저정밀도 형식을 도입하여 큰 효과를 보았습니다. 하지만 바르셀로나의 스타트업 Openchip 소속 AI 엔지니어 Laslo Hunhold 박사는 이러한 AI용 숫자 형식이 과학적 컴퓨팅에는 적합하지 않다고 지적합니다. 과학적 컴퓨팅은 물리학, 생물학, 유체 역학 등의 시뮬레이션을 위해 매우 큰 수와 매우 작은 수를 동시에 다루는 높은 동적 범위(Dynamic Range)와 극도의 정밀도를 동시에 요구하기 때문입니다. 따라서 AI의 성공 공식을 과학 분야에 그대로 이식하기보다는 각 도메인에 특화된 비스포크(Bespoke) 숫자 형식을 설계하는 것이 향후 컴퓨팅 효율화의 핵심 과제가 될 것입니다.
핵심 인사이트
- Laslo Hunhold 박사: 독일 쾰른 대학교에서 컴퓨터 과학 박사 학위를 취득하고 바르셀로나 기반의 스타트업 'Openchip'에서 AI 가속기 엔지니어로 활동 중인 전문가입니다.
- 에너지 효율의 가치: 숫자 형식을 10% 더 효율적으로 만들면 모든 애플리케이션의 에너지 효율을 10% 개선할 수 있는 파급력을 가집니다.
- 비트 수의 파격적 감소: AI 분야에서는 효율성을 위해 기존 64비트 표준을 버리고 16비트, 8비트, 심지어 2비트까지 데이터 표현 단위를 줄여 사용하고 있습니다.
주요 디테일
- 64비트 표준의 한계: 수십 년간 기본값이었던 64비트 표준은 낮은 비트 수로 줄였을 때 효율적으로 작동하도록 설계되지 않아 AI 등 신기술에 적용하기에 부적합합니다.
- AI와 과학의 차이: AI 데이터는 대개 특정 분포를 따르며 상대적으로 낮은 정밀도로도 충분하지만, 과학적 컴퓨팅은 극도로 정밀한 수치와 광범위한 동적 범위가 필수적입니다.
- 데이터 할당의 최적화: '좋은' 숫자 형식이란 무한한 실수를 한정된 비트 내에서 표현할 때, 실제로 자주 사용하는 숫자에 비트 표현을 우선적으로 할당하여 낭비를 줄이는 것입니다.
- 기술적 배경: Laslo Hunhold 박사는 IEEE Spectrum과의 인터뷰에서 AI를 위해 설계된 숫자 트릭들이 물리적 시뮬레이션이나 공학적 시뮬레이션에서는 오류를 발생시킬 수 있음을 경고했습니다.
향후 전망
- 맞춤형 컴퓨팅 시대: 범용적인 64비트 표준보다는 AI, 유체 역학, 분자 생물학 등 각 산업 분야에 최적화된 전용 숫자 형식과 이를 지원하는 하드웨어(ASIC 등) 개발이 가속화될 전망입니다.
출처:ieee_spectrum