AI가 인간을 '흉내' 낸다는 것에 대하여

며칠 전 흥미로운 연구 하나가 눈에 띄었다. Suketu Patel 연구팀이 최신 AI 모델들에게 심리학의 고전인 스트룹(Stroop) 테스트를 시켰더니, 단어 목록이 길어질수록 정확도가 처참하게 무너졌다는 것이다. GPT 계열 모델은 단어가 다섯 개일 때 90%를 넘던 정확도가 마흔 개로 늘어나자 15% 수준까지 곤두박질쳤다고 한다.¹

연구팀이 정확히 어떤 방식으로 프롬프트를 짜고 채점을 했는지까지는 알 수 없으니 결과를 곧이곧대로 받아들이는 데는 신중해야 할 것이다. 다만 만약 AI가 정말 이 단순한 테스트조차 버티지 못하는 게 사실이라면, 그 원인은 의외로 AI의 알고리즘 구조 그 자체에서 어렵지 않게 짐작해볼 수 있다. 실제로 논문 제목부터가 「트랜스포머 어텐션의 결핍된 실행 제어(Deficient executive control in transformer attention)」다.² 이미 답이 제목에 적혀 있는 셈이다.

스트룹이 보여주는 것은 '버그'가 아니라 '설계'다

스트룹은 매우 기본적인 테스트지만, 인간 인지의 특성을 더없이 잘 드러낸다. '빨강'이라는 글자가 파란 잉크로 적혀 있을 때 글자를 읽지 말고 잉크 색을 말하라고 하면, 인간은 잠깐 멈칫한다.

이유는 단순하다. 인간의 두뇌는 에너지를 아끼기 위해 가능한 많은 것을 자동화하려 들기 때문이다. 글자 읽기는 이미 자동화가 끝난 회로다. 그래서 감각 정보(파란 잉크)와 자동화된 로직(글자 읽기)이 충돌하면, 뇌는 잠시 오작동한다. 이 충돌을 해소하려면 인간은 비로소 수동으로 주의력을 끌어와 판단해야 한다.

"그럼 처음부터 전부 다 집중하면 이런 오류가 없는 것 아니냐"고 물을 수 있다. 하지만 이건 버그가 아니라 설계다. 인간이 생존을 위해 진화하는 과정에서 자동화와 선택적 주의력이 둘 다 필요했기 때문에 생긴 일종의 코너 케이스다. 모든 것에 항상 집중하는 뇌는 에너지를 감당하지 못한다. 그래서 스트룹 같은 충돌 상황이 인간에게는 느려질지언정, 결코 무너지지는 않는다. 목록이 아무리 길어져도 정확도는 안정적으로 유지된다.³ 자동화를 억제하고 목표에 다시 주의를 거는 '실행 제어(executive control)'가 작동하기 때문이다.

AI는 어디가 다른가

그렇다면 AI는 어떤가.

지금의 신경망은 윈도우 XP를 쓰고 Y2K를 걱정하던 시절에도 이미 존재하던 그것의 발전된 버전이다. 시냅스 연결을 모방한 단위 셀 알고리즘에, 그때는 없던 강력한 연산력을 부여한 것에 '지나지 않는다'고 말해도 크게 틀리지 않는다.

문제는 인간의 뇌가 시냅스 연결만으로 이루어져 있지 않다는 데 있다. 뉴런은 어디까지나 기본 유닛이고, 그 유닛 위에 생존을 위해 분화된 수많은 섹션이 층층이 얹혀 있다. 위에서 말한 실행 제어 역시 그렇게 얹힌 기능 중 하나다. 트랜스포머의 self-attention은 강력하지만, 인간이 가진 이 실행 제어를 명시적으로 구현한 구조는 애초에 없다는 것이 이 연구의 핵심 지적이다.²

나는 AI 연구자가 아니므로 현업에서 정확히 어떤 식으로 접근하고 있는지는 알 수 없다. 다만 인간조차 자기 뇌에 대해 아직 모르는 부분이 너무 많은 상황에서, 지금의 방식만으로 단기간에 인간의 뇌를 온전히 모사하는 일은 꽤 어려워 보인다.

그런데 바로 이 지점이 기회다 — pseudo-AI 이야기

여기서 끝나면 비관적인 결론이겠지만, 나는 오히려 이 간극이야말로 현업에 있는 사람들에게 훨씬 재미있는 기회를 준다고 생각한다. 내 옛날 이야기를 하나 풀어보겠다.

10여 년 전, AI 스피커가 한창 유행하던 시절이 있었다. 카카오, 네이버가 앞다투어 (이제는 이름도 기억나지 않는) 스피커를 내놨었다. 지금 같은 LLM이 없던 시절이라, 그 스피커들은 하나같이 동문서답을 했다. 말이 대화형 인터랙션이었지, 사실상 슬랙에서 슬래시 치고 명령어 넣는 것과 다를 게 없었다.

당시 UX 디자이너였던 내가 냈던 아이디어가 바로 pseudo-AI였다. 어차피 기계는 인간이 무슨 말을 하는지 맥락을 제대로 파악하지 못한다. 그렇다면 발상을 뒤집어, 인간이 스스로 최대한 많은 말을 하도록 유도하자는 것이었다. 완전히 똑같지는 않지만, 일부는 언어학에서 말하는 pragmatics, 한국어로 화용이라고 부르는 개념과 닿아 있다. 발화의 의미를 문장 그 자체가 아니라 맥락과 상호작용에서 길어 올린다는 점에서 말이다.

예를 들어보자. 사용자가 "헤이, 엘지. 오늘 약속 몇 시야?"라고 묻는다. 가장 이상적인 답은 "오늘 OOO님과 점심 약속은 12시, 강남역 OOO입니다"처럼 정확하게 말해주는 것이다. 하지만 현실은 그렇게 친절하지 않다. 사용자가 무슨 약속인지 말 안 하고 무지성으로 갈겨버릴 수도 있고, 음성이 작거나 불분명할 수도 있고, 캘린더를 검색하려는데 API 응답이 지연될 수도 있다. 잘 되는 상황보다 안 되는 상황이 압도적으로 많은 게 문제였다.

그래서 대화를 일부러 한 박자 쪼개주는 것이다.

"잠깐만… 지금 다른 생각하느라."

이 짧은 틈을 버는 사이에, 입력받은 음성에서 쓸 만한 단서를 뒤진다. 그러다 "약속"이라는 단어가 잡히면, 그 단어를 축으로 대화를 다시 이어간다.

"어, 방금 약속 뭐라고 했지?"

핵심은 이게 인간끼리의 대화 방식이라는 데 있다. 그래서 인간은 "아 18, 왜 한 번에 대답을 안 해!"라고 짜증 내기보다, "야, 장난 그만 쳐"처럼 오히려 인간적인 반응을 하게 된다. 기계의 한계가 결함이 아니라 능청으로 둔갑하는 것이다.

반대로 "잘 못 들었습니다", "다시 말씀해 주세요" 같은 ARS식 응답을 내보내는 순간, 인간은 즉시 오작동이라고 판단하고 불쾌감이 치솟는다. LLM이 없던 시절에 이 pseudo-AI를 구현하려면 꽤 정교한 로직 설계가 필요했다. 그리고 당시 기준으로, 나는 이게 제대로 구현됐다면 괜찮은 평가를 받았을 거라 믿는다. 물론 'pseudo'라는 단어부터 설명해야 했고, 나의 짧은 인내심은 윗선을 설득하는 데 끝내 실패했다. 결국 남은 건 뻔하디뻔한 "잘 못 들었어요", "다시 말씀해 주세요" 시나리오뿐이었다.

결국, 모사(模寫)의 시대

스트룹 연구가 새삼 일깨워주는 것도 결국 같은 이야기다. 지금의 인간 뇌와 AI는 본질적으로 다른 물건이다. 더 이상 GW-BASIC이나 파스칼을 배우지 않고도 자연어로 프로그래밍을 할 수 있게 된 시대라고 비유해도 나쁘지 않겠다. 안쪽 구조는 여전히 기계지만, 우리가 만지는 표면은 인간의 언어가 되었다.

그렇게 LLM이 올라타고 나니, AI라 불리는 프로그램도 인간의 말을 하게 되었다. 구조는 분명 다른데, 우리는 어느새 "클로드나 제미나이가 의식이 있느냐"고 진지하게 묻는다. pseudo-AI 일화와 정확히 같은 구도다. 내부가 무엇이든, 결과를 충분히 잘 모사하면 우리는 그것을 진짜처럼 느낀다.

스트룹에서 무너진 그 '실행 제어'를, 언젠가 누군가는 구조가 아니라 결과의 층위에서 흉내 내는 방법을 찾아낼 것이다. 그러면 우리는 또 한 번 "이건 거의 인간인데?"라고 중얼거리겠지. 본질이 다르다는 걸 알면서도 말이다.

이 얼마나 재미있는 주제인가.