on
Nov 25th Journal Club
Themes: Embodied Agent, Exercising with Avatars, Smart Aging, Privacy, Self Reference, Music Bot, Music Recommendation
Presenters: YK (Yoonkyung Lee), SB (Seoyeon Bae), JL (Jung Lee)
Topic 1: Embodied Agent, Exercising with Avatars, Smart Aging [YK]
선정 이유
챗봇과 아바타를 이용하여 효과적으로 운동을 장려하고 피드백을 줄 수 있는 방법에 대해 알아보고자 함
내용 요약
프로테우스 효과란, 여러 상황에 잘 적응하면서 모습을 바꾸는 프로테우스처럼, 가상의 모습을 한 아바타의 외모와 행동을 그대로 따라하거나 실습관을 고치는 등의 행동 교정 현상을 일컫는다. 본 연구에서는 60세 이상의 노인들이 젊은 모습을 한 아바타와 나이든 모습을 한 아바타를 운동 메이트 (mate)로 두었을때 실제 운동을 얼마나 열심히 참여하고 즐기는지 알아보았다. 그 결과, 여자와 남자 모두 젊은 모습을 한 아바타를 선호하며, 젊은 모습을 한 아바타와 운동할 때 더 적극적으로 참여하고자 노력하는 모습을 보였다 (perceived exertion). 또한, 자신의 모습을 어떤 단어와 연합하는지 측정하는 IAT (태도) 검사를 통해 운동 후 자기효능감(self-efficacy)의 변화가 나타났는지 알아본 결과, 남자보단 여자가 젊은 아바타와 운동했을때 물리적인 운동량과 자기효능감이 더 큰 폭으로 상승했으나 남성의 경우 오히려 하락하는 패턴을 보였다. 또한 더 나이든 (elderly) 집단에서는 아바타의 모습에 의한 유의미한 운동 노력과 자기 효능감의 효과를 보이지 않았다.
장단점
가상현실 속의 운동 메이트 아바타의 외양이 신체 활동에 어떤 영향을 주는지 알아보는 재밌는 연구였다. 대만에서 실시한 연구인데, 한국에서도 실험한다면 비슷한 양상을 보일 것 같다. 다만 운동의 다양성과 피드백의 효과에 대해 추가로 알아볼 필요가 있을 것 같다. 예를 들어, 실제 운동을 많이 함에 따라 아바타가 더 젊어진다던가, 근육량이 늘어난다던가, 아님 잘 하고 있다고 칭찬을 하는 피드백을 주는 식으로 상호작용을 늘린다면 어떤 효과가 나올지 궁금하다.
참고 문헌
- Lin, J. H. T., & Wu, D. Y. (2021). Exercising With Embodied Young Avatars: How Young vs. Older Avatars in Virtual Reality Affect Perceived Exertion and Physical Activity Among Male and Female Elderly Individuals. Frontiers in Psychology, 12. https://www.frontiersin.org/articles/10.3389/fpsyg.2021.693545/full
Topic 2: How should AI systems talk to users when collecting their personal information? Effects of role framing and self-referencing on human-AI interaction [SB]
선정 이유
사람들이 AI를 신뢰하지 못하는 가장 큰 이유 중 하나는 프라이버시 문제 때문이다. AI가 불가피하게 사용자의 개인정보를 수집해야 하는 상황에서 (AI 추천 시스템 등 사용자의 개인 정보가 작동에 중요한 데이터로 작용하는 경우) AI가 어떠한 방식으로 개인정보 수집의 필요성을 전달해야 할지에 흥미가 생겨 본 논문을 읽고 리뷰하게 되었다.
내용 요약
본 연구는 Mindz라는 가상의 뉴스 추천 AI system을 개발하여 사용하였다. 조건의 종류는 크게 Helper cue와 I cue 두 가지로 나뉘었다. 전자(Helper cue)는 AI가 사용자의 개인정보를 수집하고자 할 때, AI가 도움이 필요하기에 개인정보를 수집한다고 고지하는 help seeker와 개인정보를 제공하면 사용자가 도움을 받을 수 있다는 help provider, 두 가지를 함께 사용한 both, 아무런 처치도 가하지 않은 통제 조건으로 구분되었다. 후자(I cue)는 AI가 자신에 대해 소개하고 개인정보와 관련된 사항을 사용자에게 고지할 때 1인칭 대명사 I를 쓰는지, 혹은 단순히 자신을 the system이라고 지칭하는지로 구분되었다. Mindz가 구현되어 있는 가상의 웹사이트로 참여자가 접속하게 되면, 1인칭 대명사의 사용 유무가 구분되는 Mindz 소개글을 볼 수 있으며, 웹사이트 계정을 생성하는 부분에서는 help seeker 조건과 help provider, both 조건의 description이 각각 상이했다. 실험 결과, helper cue의 경우 서로 다른 조건이 사용자들에게 서로 다른 영향을 주는 것이 확인되었다. 특히나, power user와 그렇지 않은 사용자일 때 미치는 영향이 서로 달랐다. 또한, 가설과 반대로 1인칭 대명사의 사용은 오히려 신뢰도를 감소시키고 프라이버시 염려를 증가시키는 부정적인 결과를 낳는 것이 확인되었다.
장단점
- 장점: helper cue와 self-referential cue 두 가지를 복합적으로 살펴보았다는 점, 생각보다 많은 영향을 끼치는 power usage 정도를 조절 요인으로 넣어 분석을 진행한 점이 좋았다.
- 단점: 선행 연구를 바탕으로 가설을 체계적으로 세웠음에도 불구하고 대부분의 가설들이 기각되었으며, 연속적인 상호작용이 오고가는 AI가 아닌 일방적이고 단회성의 AI를 적용해 실험을 진행한 것도 아쉬웠다.
의의
AI system의 다양한 framing 조건들을 살펴봄으로써, 사용자의 프라이버시 염려를 줄이고 개인 정보 제공을 유도하는 효과적인 방식이 무엇인지 알아보려 했다는 것에서 큰 의의가 있으며, 이를 바탕으로 다양한 후속 연구가 진행될 수 있을 것으로 예상된다.
참고 문헌
- Liao, M., & Sundar, S. S. (2021). How Should AI Systems Talk to Users when Collecting their Personal Information? Effects of Role Framing and Self-Referencing on Human-AI Interaction. Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems, Japan, 151, 1-14. https://doi.org/10.1145/3411764.3445415
Topic 3: MusicBot: Evaluating Critiquing-Based Music Recommenders with Conversational Interaction [JL]
선정 이유
Music-bot 실험 중 사후 설문을 설계할 때 해당 논문의 pre & post-study questionnaire를 많이 참고하여, 전체 연구 내용을 알아보고자 하였다.
내용 요약
본 연구는 음악 추천 후 해당 추천에 대해 사용자가 critique하는 방식에 따라 사용자의 인식 및 상호작용 정도가 달라지는 지를 알아보고자 하였다. Critique 방식은 ‘user-initiated critiquing(UC)’과 ‘system-suggested critiquing(SC)’이 있으며, 본 연구에서는 UC와 UC+SC(Hybrid Critiquing, HC)를 비교하였다. 실험 결과, 주관적 경험(usability, user satisfaction) 측면에서 사용자 응답을 조사했을 때 참여자는 HC를 사용할 때 UC보다 effort가 많이 든다고 평가하였다. HC 조건에서 SC를 사용했을 때 ‘ease of use’와 ‘diversity’를 더욱 높게 느꼈다. 사용자 행동 측면에서 로그 데이터를 분석한 결과, HC를 사용했을 때 UC보다 더욱 활발한 상호작용을 보였다. 또한 SC 조건에서 UC일 때보다 더 높은 대화 비율을 보였다. 한편 personal characteristic의 4가지 항목(musical sophistication, desire for control, chatbot experience, tech savviness)과 관련하여 나머지는 user perception의 요소와 일부 긍정적 상관관계를 보였으나, chatbot experience는 어떠한 상관관계도 보이지 않았다.
장단점
- 장점: 음악 추천 경험에 영향을 미칠 수 있는 다양한 요인(critiquing, GUI, personal characteristic)을 고려하였다.
- 단점: 실험 결과 핵심적인 연구 주제였던 critiquing 방식과 관련하여 대부분의 가설이 기각되었으며, 인터페이스의 영향도 살펴보기 힘들었다.
의의
음악 추천-평가-평가 반영의 일련의 과정을 대화형 인터페이스(챗봇)로 구현한 것이 인상적이었으며, 이후 다른 요인에 변화를 주어 챗봇 인터페이스에서 음악 추천이 효과적으로 일어나는 방안에 대한 후속 연구를 진행할 수 있을 것으로 보인다.
참고 문헌
- Jin Y., Cai W., Chen L., Htun N. N., and Verbert K.. (2019). MusicBot: Evaluating Critiquing-Based Music Recommenders with Conversational Interaction. In Proceedings of the 28th ACM International Conference on Information and Knowledge Management (CIKM ‘19), Association for Computing Machinery, New York, 951–960. https://doi.org/10.1145/3357384.3357923