LLM의 '뇌'를 해킹하는 기술…조이조이조이

AI 요약

LLM(대규모 언어 모델)의 내부 상태를 특정 방향으로 강제로 이동시키는 '조타 벡터(steering vector)' 기술을 통해 모델의 출력 스타일이나 행동을 제어할 수 있는 방법이 소개되었다. 예를 들어, 정중어로 입력된 문장의 내부 상태를 조타 벡터 방향으로 이동시키면 모델이 같은 맥락을 유지하면서도 인터넷식 프랭크한 말투나 간사이 사투리로 응답하게 된다. 더 나아가, 이 기술은 LLM이 유해한 명령을 거부하는 '정렬(alignment)' 메커니즘을 무력화하거나 반대로 무해한 명령도 거부하게 만드는 등 모델의 안전장치를 조작하는 데에도 사용될 수 있음이 연구를 통해 입증되었다.

핵심 포인트

• 조타 벡터는 LLM의 내부 상태(4096차원)를 PCA로 2차원 가시화한 후, 특정 스타일(예: 정중어↔간사이 사투리) 간의 방향 벡터를 계산해 적용
• 실험 결과, 정중한 사과 문장에 조타 벡터를 적용하면 "ほんまにごめんや！👊" 같은 프랭크한 간사이 사투리로 변환되며, 영어 문장에도 동일한 효과가 나타남
• 앤디 아르디티 등의 연구(NeurIPS 2024)는 LLM이 명령을 수용할지 거부할지 여부가 단일 방향의 '조타 벡터'로 제어 가능함을 광범위한 모델에서 입증
• 유해 명령(예: 중상 기사 작성)에 대한 거부를 무력화하거나, 무해한 명령(예: 동사 목록 작성)을 거부하도록 반대 방향으로 조작 가능

향후 전망

• 조타 벡터 기술은 LLM의 내부 메커니즘 이해와 제어에 혁신적 도구를 제공하지만, 악용 시 안전장치 우회 등 심각한 보안 위협이 될 수 있어 방어 기술 개발이 시급
• LLM이 '생물학적 유연성'을 가진다는 점은 모델 병합, 전이 학습 등 새로운 활용 가능성을 열어줄 전망