May 20th Journal Club

Themes: Age Differences in Loneliness from Late Adolescence to Oldest Old Age, Chatbots, conversational breakdown, repair

Presenters: YJ (Yoonwon Jeong), JP (Jae Eun Park)

Topic 1: Age Differences in Loneliness from Late Adolescence to Oldest Old Age [YJ]

선정 이유

나이와 외로움의 관계에 대한 선행 논문 조사 중 선정하였다.

내용 요약

본 논문은 3문항 버전의 UCLA 외로움 척도를 사용하여 (1) 후기 청소년기부터 80세 이상까지 폭넓은 연령대에서의 외로움 수준, (2)외로움의 연령별 차이를 설명할 수 있는 위험 요인(risk factor)의 분포및 (3) 해당 위험 요인이 외로움에 미치는 영향의 나이대별 차이를 연구하였다. (1) LOESS curve를 이용하여 외로움과 나이의 비선형적 관계에 대한 모델을 적합시킨 결과, 크게는 선행 논문의 결과와 유사하게 30세 이하의 가장 젊은 층과 80대 이상의 가장 나이가 많은 층이 가장 외로운 형태로 나타났고, 세부적으로는20세부터 외로움이 상승하다가 30세에 고점을 찍은 뒤 하락하여 40세에 저점을 찍고, 다시 상승하다가 60세에 고점을 찍은 뒤 75세에 저점을 찍고 계속 상승하는 형태로 나타났다. 이때 80세 이상보다 더 나이가 증가할수록 모형의 신뢰구간 폭이 넓어져, 100세에 가까워질수록 급격히 분산이 커지는 것으로 나타났다. (2) 외로움의 연령별 차이를 설명할 수 있는 위험 요인(risk factor) 중 낮은 소득수준, 신체적 기능 제한(functional limitation), 그리고 배우자 혹은 파트너가 없는 상태(single)는 나이가 많은 층에서 더 높은 분포를 나타내었고, 이는 노년의 외로움을 유발하는 위험 요인에 대한 선행연구를 고려하였을 때 80대 이상의 외로움 증가를 설명할 수 있는 강력한 변인으로 나타났다. 또한 (3) 낮은 소득, 결혼/연인관계, 거주 형태, 고용 상태가 외로움과 보인 연관성은 노년 층이 아닌 층 중에서도 특히 젊은 에서 더 높아, 해당 변인들을 30대 이하의 높은 외로움을 설명할 수 있는 잠재적 변인으로 나타났다. 사회적 관계의 양(quantity)과 외로움의 관계는 나이와 상관없이 강했다.

의의

포괄적이고 다양한 연령대에서 나타난 외로움과 그 위험 요인들에 대한 충분한 데이터를 가지고 진행되어, 추후 연구에 많은 인사이트를 제공하였다.

참고 문헌

Luhmann, M., & Hawkley, L. C. (2016). Age differences in loneliness from late adolescence to oldest old age. Developmental psychology, 52(6), 943.

Topic 2: chatbots, conversational breakdown, repair [JP]

선정 이유

챗봇에 오류가 있을 때 오류를 바로잡는 방법을 알아보기 위함

내용 요약

• 이 논문에서는 task-oriented 챗봇에 오류가 있을 때(즉, intent 탐지의 confidence가 낮은 경우) 오류를 바로잡고 원래 목표를 달성할 수 있는 전략 중 사용자가 선호하는 것이 무엇인지 알아본다. repair strategy는 세 가지 요소를 고려하였다. 챗봇이 breakdown이 있다는 신호를 사용자에게 전달하는지, 사용자가 말을 바꾸게 하는 등 self-repair인지 system-repair인지, 그리고 cost of repair가 얼마나 되는지이다. 총 8개 repair strategy를 비교하는데, top response, repeat, confirmation, options, defer, keyword highlight explanation, keyword confirmation explanation, out-of-vocabulary explanation이다. 이 중 keyword highlight, keyword confirmation, out-of-vocabulary explanation은 시스템이 챗봇에 어느 부분만 제대로 인식됐는지, intent classification의 근거가 되는 키워드가 무엇인지 작동방식을 사용자에게 알려줌으로써 사용자가 제대로 utterance를 바꿀 수 있도록 하는 explanation을 활용한 self-assisted repair이다. 시나리오를 바탕으로 설문 결과 사용자에게 옵션을 제공하는 방식이 가장 선호도가 높았다. 전체적으로 사용자들은 챗봇이 breakdown이 있었음을 사용자에게 알리고, 이를 고칠 수 있는 자원을 제공하고 옵션을 제공하는 등 proactive하게 솔루션을 주는 방법을 좋아했다.
• 어떤 repair strategy를 쓸 수 있는지, 이게 breakdown 을 signal하는지, user가 repair 시도를 하도록 만드는지, 얼마나 proactive 하게 alternative를 제시하는지 등 다양한 관점에서 생각 가능

장단점

장점: 챗봇 디자인 시 오류에 대응하기 위해 어떤 전략을 사용할 수 있을지, 전략을 사용할 때 고려해야할 요소는 무엇일지 다양한 요인을 다루고 있어 좋음

단점: 통계적으로 유의미한 결과가 많지 않아 아쉽다.

참고 문헌

Ashktorab, Z., Jain, M., Liao, Q. V., & Weisz, J. D. (2019, May). Resilient chatbots: Repair strategy preferences for conversational breakdowns. In Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems (pp. 1-12).