LLMs reward expertise

AI 요약

LLM 사용에 있어 가장 중요한 기술은 프롬프트 작성법이 아니라 해당 도메인에 대한 전문성이라는 주장입니다. 저자는 테런스 타오(Terence Tao)가 ChatGPT와 자코비안 추측의 반례에 대해 대화한 사례를 들어, 도메인 전문가가 LLM을 훨씬 더 효과적으로 활용할 수 있음을 보여줍니다. 타오의 프롬프트는 짧고 간결하며, 모델의 답변에 직접 반박하기보다 "더 복잡해 보인다"는 식으로 피드백을 주고, 스스로 수학적 도약을 제안합니다. 결국 LLM의 성능은 사용자의 도메인 이해도에 크게 좌우된다는 결론입니다.

핵심 포인트

• 테런스 타오의 ChatGPT 대화는 일반 사용자와 완전히 다른 수준의 결과를 도출함
• 타오의 프롬프트는 매우 짧고 요점 중심이며, 모델을 "전문가 모드"로 전환시킴
• 타오는 모델의 답변이 이상하면 직접 반박하지 않고 "이건 예상보다 복잡해 보인다"고 표현
• 코드베이스에 대한 이론적 이해가 있으면 LLM을 훨씬 강하게 밀어붙일 수 있음

향후 전망

• LLM 활용 능력은 결국 도메인 전문성과 결합될 때 극대화되므로, 전문가일수록 LLM의 가치가 더 커질 것
• 프롬프트 엔지니어링보다 도메인 지식의 중요성이 더 부각될 전망