Written by Jae Eun Park (dawn2089@snu.ac.kr)
on 

Oct 21st Journal Club

Themes: Empathy Detection in Writing, Humanlikeness of AI device, Interaction Quality, Empathy, Anthropomorphism

Presenters: YK (Yoon Kyung Lee), HM (Hoyoung Maeng)

Topic 1: Empathy Detection in Writing [YK]

선정 이유

자연어처리 기법, BERT, 텍스트를 활용하여 공감 수준을 탐지한 사례임

내용 요약

경영학 수업에서 창업 아이디어에 대해 동료 평가를 한 글을 수집함. 주제와 공감 수준을 탐지하는데 쓴 총 500개의 텍스트 데이터(글)를 공개함. 한 학생들의 글을 ‘장점’, ‘단점’, ‘제안점’의 3가지 주제로 이루어짐. 이 주제별로 인지적 공감(cognitive empathy)과 정서적 공감(emotional empathy)의 수준 (1~5)으로 나누어 탐지하게 함. 문장별 BERT로 분류했을 때, 해당 문단이 ‘장점’, ‘단점’, ‘제안점’인지를 예측하는 것은 잘 했으나, 인지적 공감과 정서적 공감을 예측하는 것은 우연 수준에 그쳤음 (정서적 공감은 61%, 인지적 공감은 51%)

장단점

장단점

장점: inter-annotated agreement를 높게 확보하는 데 중점을 둠. Krippendorff’s a, multi-phi, 등 여러 지표를 비교함.

단점: 공감에 대한 분류가 단순하며, 인지적 공감과 정서적 공감이 이분법적으로 완벽히 나누어떨어지지 않는 다는 것은 심리학쪽에서도 오랫동안 비판을 받아왔던 부분임. BERT가 이를 잘 구분하지 못한 것도 이런 구분때문이 아닐까 싶음. 자세한 것은 데이터의 형태를 들여다보아야 알 수 있을 것 같음.

의의

의의 텍스트 중에서 writing (글)을 기반으로 공감 수준을 탐지하는 몇 안되는 연구임.

어플리케이션이 확실함. 교육적인 목적을 위함이며, 동료 평가에서 공감능력을 같이 배울 수 있도록 해당 자연어처리를 활용한 시스템이 어떻게 기여할 수 있을지 알 수 있음

참고 문헌

Topic 2: What makes an AI device human-like? [HM]

선정 이유

인간 로봇 상호작용에서 의인화의 역할과 필요한 요소, 특히 공감에 대한 요소에 대해 최근 논문을 살펴보고자 함

내용 요약

AI device를 사용하는 서비스 산업에서 AI의 의인화된 특성, 공감, 그리고 AI와 인간과의 상호작용에 대하여 연구한 논문이다. 이를 확인하기 위하여 온라인 실험을 진행하였으며, 식당에서 AI 웨이터의 상황을 이미지로 보여주고 실험 참여자들에게 설문지를 작성하도록 하였다. 이때 의인화된 특성(anthropomorphic characteristics)은 human like characteristcs와 moral virtue를 통해, 공감(empathy)은 ability to understand consumer, perceived emotions, 상호작용(interaction quality)는 service quality of proved information, perceived ease of use, AI 채택(acceptance of AI)는 general feeling about using AI, future intention to use AI 등으로 variables를 선정하였다. 결론적으로 공감은 의인화와 상호작용 퀄리티에서 중요한 매개 역할을 하였으며, 인지된 공감 특성은 상호작용 퀄리티를 향상 시켰으며 결론적으로 AI-device에 대한 채택을 높였다. 반면 only 의인화(다른 요소를 고려하지 않고 단지 의인화만 고려했을때)는 상호작용 퀄리티를 떨어뜨렸고 오히려 위협으로 인식되며 신뢰까지 떨어뜨렸다. 즉, 단순히 AI-device 가 인간의 특성을 모방한다고 인간의 신뢰를 얻을 수 없음을 확인 할 수 있었으며, 공감이라는 요소를 함께 고려할때 AI-device의 acceptance에 긍정적인 결과를 나타냄을 알 수 있었다.

장단점

장단점

실제 설문지에 대한 설문 항목이 모두 나와 있어서 측정하려고 하는 척도에 대해 좀더 명확히 알 수 있었다.

AI-device는 식당의 웨이터로서 설정되었으나, 구체적으로 variables를 측정하려고 하는 실험 자극에 대한 설명이 없어서 아쉬웠다.

의의

실제 설문지에 대한 설문 항목이 모두 나와 있어서 측정하려고 하는 척도에 대해 좀더 명확히 알 수 있었다.

AI-device는 식당의 웨이터로서 설정되었으나, 구체적으로 variables를 측정하려고 하는 실험 자극에 대한 설명이 없어서 아쉬웠다.

참고 문헌