말의 내용뿐 아니라 감정까지 보이게 하다

청각장애인의 그룹 대화 경험 향상을 위한 AR 말풍선 연구

2026 대한민국 공공디자인대상 특별상(빅터 마골린상)

구분: 연구 부문 

연구자: 김문정·김동환

소속: 연세대학교 커뮤니케이션대학원 
디자인학연구 게재 논문 ( DOI : 10.15187/adr.2025.05.38.2.373 )

여러 사람이 한꺼번에 이야기할 때 우리는 말의 내용만 듣지 않는다. 누가 말하고 있는지, 목소리가 커졌는지 작아졌는지, 화가 났는지 놀랐는지까지 함께 읽으며 대화의 분위기를 파악한다. 하지만 청각장애인에게 그룹 대화는 훨씬 복잡한 경험이다. 한 사람과 대화할 때는 얼굴과 입 모양에 집중할 수 있지만, 여러 명이 동시에 이야기하면 발화자를 찾아 시선을 옮기는 사이 대화를 놓치기 쉽다. 음성을 문자로 바꾸는 실시간 자막 서비스가 큰 도움을 주지만, 말의 내용은 보여줘도 목소리에 담긴 감정과 어조까지 전달하기는 어렵다.

김문정·김동환의 「청각장애인의 그룹 대화 경험 향상을 위한 AR 말풍선 연구」는 바로 이 지점에서 출발한다. 이 연구는 2026 대한민국 공공디자인대상 연구 부문 특별상인 빅터 마골린상을 수상했다.
 

'빅터 마골린'상이란?

빅터 마골린(Victor Margolin, 1941~2019)은 미국 일리노이대학교 시카고캠퍼스 명예교수이자 학술지 『Design Issues』 창립 편집자로, 디자인사·사회적 디자인·디자인정책 분야를 개척한 세계적인 디자인 연구자다. 그는 디자인을 제품과 산업의 문제가 아니라 사회 전체를 더 나은 방향으로 변화시키는 수단으로 보았으며, 특히 디자인이 공공정책 전반에 포함돼야 한다고 주장했다. 2015년 광주 국제디자인총회 기조연사로 한국을 방문한 그는 한국 디자인과 학술연구 발전을 위해 18,545달러를 기부했고, 이를 계기로 대한민국 공공디자인대상 10주년인 2017년 ‘빅터 마골린상’이 신설됐다. 따라서 이 상은 단순히 유명 학자의 이름을 붙인 기념상이 아니라, 디자인이 미래사회의 문제를 어떻게 해결하고 더 나은 사회를 만드는 데 기여할 것인가를 묻는 연구에 주는 특별상이라는 의미가 있다. 첫해에는 마골린이 직접 심사에 참여해 한국 공공디자인의 미래 방향과 정책을 제시하는 연구를 선정했다는 점에서도 이 상의 철학이 분명하다. 2026년 김문정·김동환의 ‘청각장애인의 그룹 대화 경험 향상을 위한 AR 말풍선 연구’가 이 상을 받은 것은 새로운 기술을 사회적 포용과 더 평등한 경험을 만드는 데 활용한다는 점에서 마골린이 강조했던 ‘더 나은 사회를 위한 디자인’의 정신을 이어간다는 의미가 있다.

자막에 ‘감정’을 더하면 어떨까

연구진이 제안한 방법은 만화에서 사용하는 말풍선이다. 분노할 때는 뾰족하고 폭발하는 듯한 형태, 행복할 때는 부드럽고 둥근 형태, 두려움에는 떨리는 듯한 표현을 적용한다. 글자의 크기와 기울기, 색상도 달리해 목소리에서 느낄 수 있는 감정을 시각정보로 바꾼다. 이 말풍선을 현실 공간의 사람 주변에 증강현실(AR)로 띄운다면 청각장애인도 대사의 내용과 함께 상대방의 감정과 어조를 파악할 수 있지 않을까 하는 것이 연구의 핵심 아이디어다. 연구진은 처음부터 완성된 디자인을 제시하지 않았다. 청각장애인과 건청인을 인터뷰해 실제 그룹 대화에서 어떤 어려움을 겪는지 확인하고, 청각장애인과 시각디자인 전문가가 참여하는 공동디자인 과정을 거쳐 말풍선을 수정했다. 초기에는 행복·놀라움·슬픔·분노·두려움·혐오·차분함 등 감정을 형태와 색상, 타이포그래피로 표현했다. 그러나 사용자 평가 과정에서 비슷하게 느껴지는 감정 표현은 제외하고, 놀라움에는 느낌표를 더하고 행복에는 하트를 넣는 식으로 직관성을 높였다. 색상이 가독성을 떨어뜨릴 수 있다는 의견에 따라 채도와 명도를 낮추고, 타이포그래피 역시 장식을 줄이고 읽기 쉬운 산세리프체를 사용했다.

화려한 표현보다 ‘형태’가 더 잘 통했다

연구진은 이후 청각장애인 12명을 대상으로 네 가지 AR 말풍선을 비교했다.

① 형태가 감정에 따라 달라지는 말풍선

② 일반적인 기본 말풍선

③ 색상으로 감정을 표현한 말풍선

④ 글자의 크기와 움직임 등 타이포그래피로 감정을 표현한 말풍선이다.

실험 결과는 흥미롭다. 감정을 가장 쉽게 전달한 것은 형태형 말풍선이었다. 대화 내용 이해도에서도 형태형은 색상형과 타이포그래피형보다 유의하게 높은 평가를 받았다. 반대로 색과 글자의 변화가 많아질수록 이미 사람과 배경, 자막을 동시에 봐야 하는 AR 환경에서는 오히려 시각적 부담이 커졌다. 보기 좋게 만드는 것보다 빨리 알아보게 만드는 것이 더 중요했다는 이야기다. 특히 여러 사람이 동시에 말하는 상황에서는 단순성과 가독성이 중요했다. 반면 목소리의 높낮이에 따라 글자 크기를 변화시키는 타이포그래피는 특정 상황에서 효과가 있었다. 건청인이 목소리가 큰 사람에게 자연스럽게 시선을 돌리는 것처럼 글자의 크기를 변화시켜 어느 발화에 주목해야 하는지 알려줄 수 있기 때문이다.

사용자마다 같은 감정을 보여줄 필요도 없다

연구에서 더 흥미로운 부분은 기술보다 사용자에 관한 발견이다. 어떤 참여자는 상대방의 감정이 말풍선으로 보이는 것은 도움이 되지만 자신의 감정까지 자동으로 상대에게 보이는 것은 부담스럽다고 답했다. 사람마다 자신의 감정을 드러내는 방식이 다르고, 공적인 회의와 친구 사이의 대화에서도 필요한 정보가 다르기 때문이다. 따라서 연구진은 모든 상황에서 하나의 말풍선 디자인을 사용하는 대신 대화 상황과 사용자 성향에 따라 표현 수준을 조절해야 한다고 제안한다. 업무 대화에서는 단순하고 정확한 정보가 중요하고, 사적인 대화에서는 감정 표현을 좀 더 풍부하게 제공할 수 있다. 접근성을 높인다는 것은 정보를 더 많이 보여주는 것으로 실현되지 않는다. 그 사람이 실제 상황에서 어떤 정보를 필요로 하고, 어떤 정보는 오히려 부담스러워하는지를 이해하는 일​에 가깝다.

듣지 못하는 것을 ‘텍스트’로 바꾸는 데서 한 걸음 더

기존의 음성인식 자막은 주로 ‘무슨 말을 했는가’를 전달하는 데 집중해 왔다. 이 연구는 질문을 바꾼다.

“그 사람은 어떤 마음으로 그 말을 했는가?”

대화는 정보 전달만으로 이루어지지 않는다. 놀람, 망설임, 분노, 기쁨, 강조와 같은 미묘한 신호가 관계를 만든다. AR 말풍선은 귀로 듣기 어려운 이러한 정보를 형태와 글자라는 다른 감각의 언어로 번역하려는 시도다. 연구진은 이를 바탕으로 감정 전달의 용이성, 시각적 단순성, 사용자 맞춤형 인터페이스, 명확한 발화자 구분​을 청각장애인을 위한 AR 말풍선의 주요 디자인 방향으로 제안했다. 다만 아직 완성된 서비스는 아니다. 연구 역시 통제된 영상 기반 환경에서 실험했으며, 실제 AR 글라스를 착용하고 다양한 현실의 대화 환경에서 검증하는 후속 연구가 필요하다고 밝히고 있다. 이 연구가 던지는 질문은 누구나 같은 정보를 받는 것이 평등한 것일까, 아니면 각자가 이해할 수 있는 방식으로 정보를 경험하게 하는 것이 더 평등한 것일까이다. 공공디자인이 다루어야 할 접근성은 계단을 경사로로 바꾸거나 글씨를 크게 만드는 데서 끝나지 않는다. 사람과 사람 사이에서 일어나는 대화와 관계의 경험까지 동등하게 만드는 것, 이 연구는 공공디자인이 앞으로 다룰 수 있는 새로운 영역을 보여준다.

(이하 논문에서 발췌)

연구배경 

본 연구는 청각장애인이 그룹 대화 중 비언어적 감정 정보를 효과적으로 전달받을 수 있도록 AR 말풍선을 활용한 대화 경험 개선 방안을 모색한다. 기존 연구는 건청인을 대상으로 한 사례가 많았으며, 청각장애인을 대상으로 한 연구는 제한적이었다. 특히 시각적 정보에 크게 의존하는 청각장애인에게 AR 말풍선은 대화 맥락 이해와 감정 전달을 효과적으로 지원할 가능성이 높다. 이에 본 연구는 AR 말풍선이 청각장애인의 그룹 대화 경험에 미치는 영향을 분석하고 적합한 감정 전달 방식을 제안하고자 한다.    

연구방법 

본 연구에서는 네 가지 AR 말풍선 타입(형태, 기본, 색상, 타이포그래피)을 설계하고, 청각장애인 12명을 모집하여 그룹 대화 시나리오를 기반으로 실험을 진행하였다. 각 실험 후 감정 전달 용이성, 대화 내용 이해도, 편리성 등을 평가하는 설문 조사와 인터뷰를 통해 데이터를 수집하였다. 양적 데이터는 Friedman 비모수 통계로, 질적 데이터는 주제별 코딩 접근법으로 분석하였다.    

연구결과 

실험 결과, 형태 타입의 AR 말풍선이 감정 전달 용이성과 대화 내용 이해도에서 가장 높은 평가를 받았다. 색상과 타이포그래피 타입은 시각적 복잡성으로 인해 이해도가 다소 떨어졌으나, 타이포그래피를 활용한 어조 표현은 동시 발화 상황에서 긍정적으로 평가되었다. 또한, 대화 상황과 사용자의 성향에 따라 AR 말풍선의 적합성이 달라질 수 있으며, 시각적 과부하를 줄이기 위한 단순화된 설계가 필요하다는 점이 확인되었다.   

결론 

본 연구는 청각장애인을 위한 AR 말풍선 설계 원칙으로 감정 전달 용이성, 시각적 단순화, 사용자 맞춤형 인터페이스 제공, 발화자 구분의 명확성을 제안한다. 이러한 설계는 청각장애인의 대화 경험을 향상시키고 사회적 통합에 기여할 수 있을 것이다.     

주제어 : AR 말풍선, 청각장애인, 그룹 대화, 감정 전달, 비언어적 정보, 증강 현실

연구 정보

논문명 : 청각장애인의 그룹 대화 경험 향상을 위한 AR 말풍선 연구

AR Speech Bubbles to Enhance Group Conversation Experiences for Individuals with Hearing Impairments

연구자 : 김문정·김동환, 연세대학교 커뮤니케이션대학원

게재지 : 디자인학연구 Archives of Design Research, Vol.38 No.2, 2025, pp.373–389

DOI : 10.15187/adr.2025.05.38.2.373
 

> 논문 원문 보기

자료 및 이미지 출처: 김문정·김동환, 「청각장애인의 그룹 대화 경험 향상을 위한 AR 말풍선 연구」, Archives of Design Research, 2025 / 한국공예·디자인문화진흥원 「2026 대한민국 공공디자인대상」 수상작 발표

그림) 워크숍을 통해 개선한 AR 말풍선 최종 디자인