Written by Jae Eun Park (dawn2089@snu.ac.kr)
on 

Nov 11th Journal Club

Themes: In-Home Conversational Agent Usage, Self-disclosure, Chatbot, Social-Agent Orientation, Music Classification

Presenters: HM (Hoyoung Maeng), SB (Seoyeon Bae), JP (Jae Eun Park), SJ (Seoyun Jang)

Topic 1: Studies of In-Home Conversational Agent Usage [HM]

선정 이유

Conversational agent에 대하여 학습하고 싶었으며 특히 실생활에서 사용하면서 인간과 agent간의 상호작용이 어떻게 일어나는지 알아보고 싶었음.

내용 요약

본 연구는 아마존 알렉사 기기를 실제 사용하는 사람들 대상으로 이루어진 연구로서, quantitative 방법으로 진행 되었다. 크게 2가지 방법으로 데이터를 수집하였는데, 첫번째로는 Reddit을 이용하여 실제 75명의 사용자에 대하여 278,654 보이스 명령어 데이터를 수집하였다. 두번째로는 본 논문의 저자 중 2명이 실제 아마존 알렉사를 사용하는 7가구 집에 방문하여 인터뷰를 진행하여 데이터를 수집하였다. 데이터 수집 기간은 약 6개월 정도 걸렸다고 한다. 이후 다음과 같은 4가지 주제로 분류하여 분석을 진행하였다. 1) Purchasing and Acclimating to Alexa 로서 실제 알렉사 기기를 몇개 가지고 있으며 첫번째 기기를 산후 이후 두번째, 세번째 기기는 구매 후 며칠이 지나고 샀는지 분석하였다. 또한 하루에 몇번 알렉사에게 명령을 하는지 첫구매이후 명령하는 횟수의 변화량은 어떻게 되는지 측정하였다. 2)Physical Placement of Device 로서 실제 알렉사 기기를 어디에 두고 사용하는지 분석하였다. 대부분 침실에 가장 많이 두고 사용하였고 거실 그리고 부엌 순으로 배치되어 사용되고 있었다. 3) Daily Patterns of Conversational Usage 로서 하루 중 알렉사를 가장 많이 사용하는 시간대를 분석하였다. 주로 오전 9시 이전 그리고 늦은 저녁에 많이 사용 되었으며, 하루에 평균 14.3번 명령을 하는 것을 확인하였다. 4) Children and Conversational Agent 로서 이 주제는 연구자들이 사전에 생각하지 못했던 주제였는데 참여자들의 인터뷰에서 먼저 언급된 내용을 통해 분석이 진행되었다. 어린이들이 알렉사와 의사소통하면서 상호작용하는 경험을 할 수 있어보여서 부모님들은 긍정적으로 보았고 또 알렉사가 어린이들의 말을 이해하고 대답해줄 때 부모님들은 만족함을 보였다. 반면 아이들의 억양을 알렉사가 알아듣지 못하거나 간혹 아이들의 이름을 발음하지 못할때는 부정적인 반응을 보이기도 하였다. 이러한 연구는 향후 알렉사를 발전시키고 궁극적으로 conversational agent 연구를 해야 할 때 얼마나 사용자의 명령에 민감해야 할지, 그리고 서로 얼마나 가까운 정도의 관계를 유지해야 할지에 도움이 되는 연구라고 생각한다.

장단점

Conversational agent의 간략한 역사를 알 수 있어 도움이 되었고, 특히 실제 사용자들의 사용 패턴(얼마나 자주, 어디에 두고 사용하는지, 어떤 명령어를 주로 사용하는지, 연동되는 기기를 몇개나 가지고 있는지 등)을 그래프로 나타내어 통계적으로 확인 할 수 있어서 좋았다.

실제 알렉사를 사용하는 사람들의 인터뷰 내용이 주를 이루고 있는데, 대부분의 내용이 줄글로 되어 있어서 간혹 헷갈릴때가 있었다. 주제별로 인터뷰 내용을 정리한 도표가 있으면 이해에 도움이 될 것 같다.

의의

대표적인 Conversational Agent 인 아마존 알렉사에 대하여 실제 가정에서 사용되고 있는 후기를 수개월에 걸쳐 수집한 많은 양적 데이터를 하나하나 분석하여 실생활에서 인간과 알렉사가 어떠한 상호작용을 하고 있는지 알 수 있었다.

참고 문헌

Topic 2: Self-disclosure, Chatbot [SB]

선정 이유

챗봇을 통한 사용자의 자기개방을 이끌어내기 위해서는 챗봇이 어떻게 디자인되어야 하는지에 대해 연구한 점이 매우 흥미롭게 다가와 선정하게 되었다.

내용 요약

본 연구에 사용된 챗봇은 Manychat과 Google Dialogflow를 통해 제작되었으며, 일기 쓰기, 스몰톡, 민감한 질문에 대한 대화 세 파트로 세션이 구성되었다. 참여자들은 챗봇의 자기 개방 수준에 따라 (자기 개방 없음=ND, 낮음=LD, 높음=HD) 세 그룹으로 나뉘었으며 LD와 HD에서만 스몰톡 세션이 진행되어 사용자의 자기 개방을 유도하였다. 실험은 총 3주간 진행되었으며, 실험 중 총 2번의 설문조사가 있었고 챗봇 사용이 모두 종료된 뒤에는 대면 인터뷰를 통해 사용 후기를 물어보았다. 실험 결과, 일기 쓰기와 민감한 질문에 대한 대화 세션에서는 주로 HD 그룹의 사용자의 자기 개방 수준이 다른 두 그룹에 비해 높았으며, 특히나 ‘감정’ 분야의 자기 개방에서 유의미한 차이가 존재했다. 인터뷰 결과, HD와 LD 그룹의 사용자들은 챗봇에게 친밀감을 느끼고 유대 관계를 형성한 것으로 파악되었으나, ND 그룹의 참여자들은 챗봇과의 친밀감 및 유대 관계 형성에서 한계를 보였다. 참여자들은 익명의 사람들보다도 챗봇과 자기 개방을 요하는 대화를 하는 것이 훨씬 편하다고 답하였는데, 이는 아무리 익명일지라도 사람은 자신을 판단할 것 같다 느끼지만, 챗봇은 자신이 어떤 얘기를 하더라도 판단하지 않고 가만히 들어주기만 하기 때문이라 답하였다.

장단점

장점: 챗봇의 자기 개방 수준에 따라 사용자의 자기 개방 수준이 어떻게 달라지는지를 체계적으로 분석하고자 하였으며, 특히나 대화 상대방의 ‘판단’ 여부가 자기 개방에 있어서 중요한 영향을 미친다는 점을 알아냈다. 단점: 상담이 아닌 다른 분야에서는 챗봇의 자기 개방 수준이 높은 것이 오히려 사용자들에게 위화감을 조성할 수도 있을 것 같은데, 이러한 부분에 대한 설명이 부족하였다.

의의

본 연구는 챗봇의 자기 개방 수준과 챗봇을 사용하는 기간 (적응 정도) 등에 따라 사용자의 자기 개방 수준이 어떻게 달라지는지를 보여주었으며, 이를 바탕으로 추후 챗봇이 자기 개방을 요하는 분야에서 활용될 경우 어떻게 디자인되면 좋을지에 대해 제언했다는 점에서도 의의가 있다.

참고 문헌

Topic 3: Social-Agent Orientation, Conversational Agent [JP]

선정 이유

챗봇에 대한 만족도를 결정하는 개인차 요소를 알아보기 위해 social-agent orientation에 대해서 읽어보았다. 또한, 자연스러운 대화 상황에서 어떻게 이 요소를 대화 속에서 측정할 수 있을지 알아보고자 하였다.

내용 요약

본 연구에서는 회사 업무를 도와주는 task-oriented chatbot을 회사 직원들로 하여금 직접 사용하게 함으로써 사용자의 social-agent orientation에 따라서 어떻게 챗봇에 대한 만족도가 차이나는지 살펴보았다. 챗봇은 업무용이지만 간단한 social conversation 또한 가능하도록 설계되었다. 참여자 중 social-agent orientation이 높은 사람이 전반적인 만족도(satisfaction, ease of use, likability)가 높았으며, 업무 상 챗봇 오류에 대한 tolerance도 높았다. 또한, 이러한 orientation이 대화에도 반영되는지 살펴보았다. 대화 중 socializing question, politeness, agent-grounding question을 살펴본 결과 이 중 socializing question과 politeness가 social-agent orientation과 positive correlation 이 있었으나, agent-grounding question은 negative correlation이 있었다. 심층 인터뷰 결과 social-agent orientation이 높은 사람은 챗봇이 좀 더 자연스러운 conversation을 원하며 social need가 있었으나, orientation이 낮은 사람은 그러한 요소를 제거하고 effective 한 interface를 원하였다. 또한 social-agent orientation이 높은 사람은 에이전트를 사람 같이, 낮은 사람은 인터페이스처럼 생각하는 경향이 있었다.

의의

실험 상황이 아닌 자연스러운 업무 상황에서의 챗봇 사용 만족도에 대해 알아볼 수 있었으며, 챗봇 log나 심층 인터뷰 등을 통해 사용자 경험에 대해 자세히 알아보고자 하였다.

참고 문헌

Topic 4: Music classification [SJ]

선정 이유

현재 학부생 연구를 통해 고민 상황 및 정서를 입력 받은 후 적합한 음악을 추천해주는 챗봇을 개발 중이다. 주제 선정 당시 진행되었던 음악 스트리밍 서비스 FLO 팀과의 미팅에서 이 논문을 적극 추천 받았고, 연구 방향을 정하는 데 큰 도움이 되었기에 선정하였다.

내용 요약

이 논문은 가사와 가사해석 데이터에 대한 NLP를 통해 노래들을 주제별로 분류하고자 하였다. 구체적으로 1) 가사만 사용한 모형, 2) 가사 해석만 사용한 모형, 3) 가사 + 가사해석 둘 다 사용한 모형을 만들어 비교 분석한 결과, 2번째와 3번째 모형이 비슷한 수준으로 1번째 모형보다 정확도가 높게 나타났으며, 가사 해석이 가사보다 주제 분류에 훨씬 더 유용한 것으로 나타났다. 그 이유는 가사 해석과 달리, 가사에는 함축적이고 시적인 표현들이 많아 분류에 혼란을 주었기 때문으로 추측된다.

장단점

장르, 무드 등 ‘음악적 요소’들을 분류하는 데 초점을 맞춘 기존의 연구와 달리 음악의 ‘주제’ 분류에 초점을 두었으며, 이에 가사 해석 데이터를 활용할 수 있음을 보여준 점이 인상적이다. 하지만 모형 제작 및 평가에 사용한 8개의 주제 분류 기준(religion, sex, drugs, parent, war, places, ex-lover, death)이 모호하고 포괄적이지 못한 문제가 있다. 한 개의 음악 관련 사이트만 참고하고, 인기도를 기준으로 채택하다보니 이런 문제가 발생한 것으로 보인다.

의의

본 논문은 약 70%의 높은 정확도를 가진 음악 분류 모형을 만들었으며, 음악 분류에 있어 가사해석 데이터의 유용성을 처음으로 제시했다는 점에서 의의가 있다. 음악 추천 또는 플레이리스트 제작 알고리즘 개발 뿐만 아니라, 음악 관련 다양한 응용 연구에 도움이 될 것이다.

참고 문헌