크리에이티브 스튜디오 헬로 먼데이(Hello Monday)가 쉽게 수화를 배울 수 있도록 손 동작을 가르치고 실시간 교정을 해주는 앱을 만들었다.

헬로 먼데이는 미국 청각장애 아동 협회(American Society for Deaf Children)와 함께 웹 브라우저에서 작동하는 앱인 Fingerspelling.xyz를 디자인했다.

인기 언어학습 앱인 듀오링고(Duolingo)와 다르지 않게, Fingerspelling.xyz 역시 학습과정을 실시간으로 평가할 수 있다.

사용자의 웹캡으로 손동작을 확인하고 정확한 손동작을 학습한 알고리즘을 통해 그 정확도를 분석하는 방식이다. 앱에서는 미국식 수화(ASL) 알파벳을 표준으로 삼고 있다.

앱은 사용자의 수준에 맞게 학습을 진행한다. 

“핑거스펠링 게임은 ASL의 기초를 재미있게 접할 수 있는 좋은 방법”이라고 헬로 먼데이의 창업 파트너인 앤더스 제슨(Anders Jessen)은 말했다.

읽기와 비디오 시청 등을 통해 사용자가 보다 적극적으로 학습에 참여할 수 있다는 점에서 자신들의 앱이 기존의 수화 학습법과 차별화된다고 그는 설명했다.

청각장애 아동의 부모가 이 앱의 주요 대상이다. 

“핑거스펠링 게임에는 첨단의 손 인식 기술과 머신러닝이 적용되어 있어 웹캠을 통해 실시간 피드백을 제공하기 때문에 각 사인과 단어를 정확하게 배울 수 있다”고 제슨은 설명했다.

“연구진들이 무수히 많은 시간을 들여 훈련시킨 고도의 머신러닝 모델이 이제 반대로 우리를 훈련시키고 수화를 더 잘할 수 있도록 하는 것을 생각하면 재밌다.”

시작 단계에서 하나의 낱말이 제시되고 학습자는 그 속의 글자 하나하나를 배워나가게 된다. 

보라색과 버터빛깔의 노란색이 기본으로 깔린 인터페이스 위에서, Fingerspelling.xyz은 사용자에게 일련의 단어들과 함께, 각 글자에 요구되는 동작을 보여주는 3D 손 모형을 제시하며 시작한다.

앱은 사용자의 손 동작을 분석하고 올바르게 정렬될 때까지 계속해서 피드백을 준 후, 다음 단계로 넘어간다. 헬로 먼데이는 웹캠의 데이터는 어디에도 저장, 또는 전송되지 않는다고 약속했다.

Fingerspelling.xyz은 컴퓨터의 웹캠을 활용해 사용자의 동작을 확인한다.

앱은 청각장애 아동의 부모를 주 타겟으로 삼아 제작되었다. 부모들이 수화를 조기에 
학습해 아이들의 발달을 격려할 수 있도록 하기 위해서다.  

통계에 따르면, 미국에서는 1,000명 당 2명 내지 3명의 아이가 청각장애나 난청을 가지고 태어나고, 이들 중 90%가 청각에 이상이 없는 부모를 두고 있다.

3D 손 모형은 사용자들이 따라할 수 있는 정확한 동작을 보여준다. 

그러나, 청각장애아 가정의 72%는 자녀들과 수화로 대화하지 않는다. 헬로먼데이와 미국 청각장애아동 협회는 이 같은 현실에 변화를 주고자 앱을 제작했다.

“수화를 배우고자 하는 사람에게 유용한 툴이 되기를 바란다. 이 단계가 끝나면 수화/ASL 과정을 들을 수 있을 것이다”고 제슨은 말했다.

알고리즘이 사용자의 손 모양을 분석하고 교정하도록 안내한다. 

헬로 먼데이는 디지털 제품 및 경험을 전문으로 하는 크리에이티브 스튜디오이다. 최근에는 2020년 바틀렛 건축 대학원(Bartlett School of Architecture)의  섬머 쇼(Summer Show)  가상 전시를 디자인했다.

원문 기사: Fingerspelling.xyz app helps people to learn the sign language alphabet (dezeen.com)