May 27th Journal Club

Themes: Towards Mutual Theory of Mind in Human-AI Interaction, Human robot interaction, Teaching Assistants, Online Education

Presenters: IL (Inju Lee), HM (Hoyoung Maeng)

Topic 1: Towards Mutual Theory of Mind in Human-AI Interaction [IL]

선정 이유

언어적 특징을 바탕으로 에이전트에 대한 사람들의 지각을 분석할 수 있다는 점이 흥미로워 읽어보았다.

내용 요약

Mutual Theory of Mind(MToM)은 상호작용에 참여하는 모든 당사자들이 ToM의 능력을 지니고 있는 상태로, 자연스럽고 성공적인 상호작용이 이루어지기 위해서 반드시 필요한 요소이다. 본 논문은 장기적인 사람-대화형 에이전트(Conversational Agent)의 상호작용 및 커뮤니티를 대상으로 하는 적응적 대화형 에이전트 구축 가이드라인의 이론적 토대로서 MToM을 사용하고자 하였다. 이를 위한 첫단계는 에이전트에 대한 사용자들의 지각을 자동적으로 탐지해낼 수 있는, 즉 ToM과 같은 능력을 에이전트가 갖추게 하는 것이다. 본 논문은 사람들이 사용하는 언어의 특징을 기반으로 에이전트에 대한 사용자의 지각을 예측할 수 있는지 확인하였다.

온라인 수업 토론 포럼의 인공지능 조교 Jill Watson(JW)과의 상호작용의 맥락에서 연구가 진행되었다. 2주 간격으로 자가 보고 설문을 진행하여 JW의 3가지 측면(Anthropomorphism, Intelligence, Likeability)에 대한 학생들의 지각을 파악하였고, 이를 JW과 학생들이 나눈 대화와 함께 분석하였다. 특히 대화에 나타나는 5가지 언어적 특징(Readability, Sentiment, Diversity, Adaptability, Verbosity)들을 양적으로 측정하기 위해 저자들은 각 특징에 대해 조작적으로 정의를 하였다. 이를 바탕으로 JW에 대한 학생들의 지각이 시간이 지남에 따라 변하는지, 또한 이러한 변화를 학생들이 사용하는 언어의 특징을 기반으로 예측할 수 있을지 확인하였다.

분석 결과, 시간이 지남에 따라 에이전트의 지각된 anthropomorphism와 intelligence에 대해선 통계적으로 유의미한 변화가 발생하였지만, 지각된 likeability에 대해선 통계적으로 유의미한 변화가 없었다. 또한 학생들의 3가지 측면에 대한 대화 속 학생들의 언어적 특징의 관계를 분석해보았을 때, readability, sentiment, diversity, adaptability는 에이전트에 대한 desirable한 지각과 정적인 관계가 있었지만 verbosity는 부적인 관계가 있는 것으로 나타났다.

장단점

학습이라는 제한적인 맥락에 연구가 이루어졌다는 점이 아쉽다. 저자들 또한 언급한 것처럼 다양한 형태의 대화형 에이전트를 기반으로 이와 유사한 형태의 연구를 진행해보아야 할 필요가 있어 보인다.

의의

사람의 언어적 특징을 바탕으로 그 사람의 지각을 파악하고자 (즉, 대화형 에이전트에게 ToM을 구축시키는 것의 토대가 되는 작접) 시도한 연구라는 점에서 의의가 있다고 생각한다.

참고 문헌

Wang, Q., Saha, K., Gregori, E., Joyner, D., & Goel, A. (2021). Towards Mutual Theory of Mind in Human-AI Interaction: How Language Reflects What Students Perceive About a Virtual Teaching Assistant. In Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems (pp. 1-14).

Topic 2: Human robot interaction, Teaching Assistants, Online Education [HM]

선정 이유

온라인 교육에 사용되는 인공지능에 대한 사용자의 인식과 관련된 문헌을 학습하고 싶었음

내용 요약

본 연구는 온라인 설문조사를 통해, AI teaching assistant에 대하여 학생들의 인식이 어떤지를 조사한 논문이다. 이러한 AI teaching assistant에 대한 유효성은 여러 논쟁이 있어왔지만, 특히 교수들은 AI teaching assistant의 사용성을 29% 정도만 유효하다고 판단하고 있다.

이 논문에서는 먼저 AI teaching assistant을 embodied machine vs disembodied machine 으로 크게 분류할 수 있다고 하였으며, 대표적인 예시로는 NAO or SONY AIBO와 Microsoft’s Little or Google Duplex를 들었다.

설문에 앞서 적용한 모델은 Technology Acceptance Model(TAM)이며, AI teaching assistant에 대한 2가지 개념을 적용하여 그 인식의 정도를 측정하였다.

Perceived usefulness 와 Ease of use 를 측정하였으며, AI teaching assistant의 사용성과 이용하기 쉬운 정도는 인공지능 선생님에 대한 태도에 긍정적인 영향을 끼칠 것이라는 가설을 설정하여 설문을 진행하였다.

Perceived usefulness 측정하기 위해서는 my learning productivity, my learning effectiveness 와 Ease of use 를 측정하기 위해서는 easy to learn, would not require a lot of my mental effort 의 질문을 했다. 결론적으로는 AI teaching assistant에 대하여 학습에 관하여 사용성과 이용성 측면에 긍정적인 영향이 있음을 확인할 수 있었다.

장단점

이론적 기반에 근거하여(Technology Acceptance Model) Teaching Assistants 에 대한 인식을 구별하여 연구를 진행하여 실험에 대한 신뢰도가 높았다.

Disembodied machine뿐만 아니라 embodied machine 관련된 내용도 함께 설명되어 이해하는데 도움이 되었다.

survey를 진행하면서 실험참여자의 인터뷰도 있었으면 더 좋았을 것 같은 아쉬움이 있었다.

참고 문헌

Kim, J., Merrill, K., Xu, K., & Sellnow, D. D. (2020). My Teacher Is a Machine: Understanding Students’ Perceptions of AI Teaching Assistants in Online Education. International Journal of Human-Computer Interaction, 36(20), 1902–1911.