어제 Carnegie Mellon의 AI 사용에 대한 비판적 사고 연구 논문을 읽으며, 작년 말 GenAI 기반 서비스의 UX 프로토타입을 만들었던 경험이 떠올랐습니다. 당시 고민했던 많은 부분들이 이 연구에서 실증적으로 확인되었고, 이를 기존에 봤던 GhostWriter 연구, Cursor vs Copilot 개인적 사용 사례, 그리고 Science Advances의 AI 기반 글쓰기 생산성 연구와 함께 종합해보니 뭔가 통합된 통찰을 얻을 수 있었습니다. 아마도 Figma나 Cursor 과 같은 서비스가 유사한 경쟁 제품보다 AI 측면에서 “잘 만들었다”라고 느끼신 분들에게는 의미가 있을 내용이라 생각합니다. 지금 보니 3개의 논문 중에 2개가 MS와 관련된 논문이네요. MS가 역시 GenAI UX에 관심이 많은 거 같습니다.
우선, Carnegie Mellon 연구는 GenAI에 대한 지나친 높은 신뢰가 오히려 사용자의 비판적 사고를 약화시키고, AI 결과를 무비판적으로 수용하게 만들 수 있다는 중요한 통찰을 제공합니다. 반면에, 사용자가 자신의 전문성에 자신감을 가지게 되면 AI의 산출물을 꼼꼼히 분석하고 개선하는 경향을 보입니다. 즉, GenAI를 활용하는 작업이 단순히 결과물을 받아들이는 ‘실행’ 단계에서 벗어나, 그 결과를 면밀히 검토하고 통합하는 ‘관리’ 단계로 전환되어야 함을 암시합니다. 간단히 이야기 하면 실무자들이 AI의 관리자가 되어야 될 필요가 있다라는 거죠.
또한 GhostWriter 연구는 명시적 피드백(좋아요나 싫어요, 스타일 수정)과 암시적 피드백(사용자의 글쓰기 패턴 분석)이 조화를 이루어 사용자 경험을 극대화할 수 있음을 보여줍니다. 이를 통해 스타일과 컨텍스트를 명확히 구분함으로써 사용자가 AI 결과에 대해 예측 가능하고 투명하게 인지할 수 있으며, 단순한 도구를 넘어 자신의 의사에 맞게 시스템을 조정할 수 있는 기회를 제공합니다.
더 나아가, 제가 직접 경험한 Cursor와 Copilot의 사례에서는 Cursor가 보다 통합된 피드백 루프를 제공한다는 점이 눈에 띕니다. Cursor는 단순히 코드 제안을 넘어서 프로젝트 전반의 맥락을 이해하고 관련 파일을 참조하는 코딩 Agent 능력이 뛰어나며, 대화형 인터랙션을 통해 코드의 수정 및 발전 과정을 자연스럽게 지원합니다. 이러한 경험은 실제 개발 도구에서 피드백 루프와 컨텍스트 인식이 얼마나 중요한지를 체감하게 해주었습니다.
Science Advances의 연구 결과도 주목할 만합니다. 해당 연구는 생성형 AI를 글쓰기에 도입할 경우 낮은 창의성 작가 대상 10% 이상 참신성, 유용성이 향상되었다는 것을 보여주며, 결국 AI는 창의성 격차를 줄이는 ‘평준화’ 효과 향상을 가져온다 실험 결과를 잘 보여줍니다. 이 밖에 논문에서 개인적으로 인상적이었던 부분은 AI 도구 사용자들이 실제 성과 향상을 느끼지 못하는 경우가 많다는 점을 지적한 부분이었습니다. 특히 창의성이 낮은 작성자들이 AI를 활용함으로써 약 10-11% 정도 더 발전했음에도 불구하고, 이를 스스로 인지하지 못하는 경향이 있다는 사실은 UX 설계에 있어 객관적 성과 측정과 피드백 루핑 UX의 필요성을 강조해 주는 부분이었다 생각합니다.
이렇게 여러 연구와 실제 사례들을 종합해보면, GenAI 기반 UX 설계는 단순한 결과물 제공에서 머무르지 않아야 한다는 결론에 이르게 됩니다. 사용자가 AI의 산출물을 있는 그대로 받아들이기보다는, 정보 검증 도구와 대체 접근 방식을 통해 비판적 사고를 촉진할 필요가 있습니다. 또한, 암시적 및 명시적 피드백을 효과적으로 통합하는 다층적 피드백 시스템을 구축하여, 사용자가 실시간으로 개선 요청을 반영할 수 있도록 해야 합니다. 무엇보다도, 사용자가 AI의 동작 원리를 명확하게 이해하고 주도적으로 제어할 수 있게 하며, 결과물의 성과를 정량적으로 비교하고 시간에 따른 발전 상황을 시각화하는 객관적 성과 측정 시스템 역시 필수가 될 것 같습니다.
실제 서비스에 이를 적용하기 위해서는, 예를 들어 AI가 제시하는 결과물의 확신도를 시각적으로 표시하여 사용자가 신뢰도를 판단하도록 돕고, 중요한 결정의 순간마다 대안적 관점을 제시하여 사고를 유도하는 기능을 도입할 수 있습니다. 또한, GhostWriter처럼 스타일 및 컨텍스트 정보를 명확히 분리하고, 사용자가 직접 수정할 수 있는 인터페이스를 제공하며, 수정 이력과 사용자 피드백을 시스템 개선에 반영하는 것도 좋은 방법이 될 것입니다. 개발 도구 영역에서는 Cursor의 혁신적인 대화형 피드백 시스템을 벤치마킹하는 것도 유용하다 생각합니다.
앞으로의 GenAI 서비스는 개인화된 학습 경험을 강화하고, 사용자가 자신의 발전을 명확하게 인식할 수 있는 맞춤형 피드백을 제공하며, 팀 협업과 집단 지성을 활용한 협업적 AI 시스템으로 발전할 것이라고 조심스래 예측해 봅니다.
GenAI 기반 UX 설계는 앞으로 더 정교해지고 발전하여 사용자와 AI가 함께 협력하며 성장할 수 있는 환경을 만들어 줄 것이라고 믿습니다. 무엇보다 GenAI 서비스를 사용하는 아이들이 있다고 한다면 아이들의 비판적 사고 능력을 키우기 위한 좀더 고민된 UX가 필요할 것이고 이러한 연구 결과들이 설계에 큰 도움이 될 거라 생각합니다.
끝!