Apr 28th Journal Club

Themes: Empathetic AI, Conversation, Mental Health, Reinforcement Learning

Presenters: YK (Yoon Kyung Lee)

Topic 1: Towards Facilitating Empathetic Conversations in Online Mental Health Support : A Reinforcement Learning Approach [YK]

선정 이유

공감하는 에이젼트의 최신 연구이며 심리학자와 공동으로 작업한 논문이라서 선정했다.

내용 요약

온라인 정신 건강 플랫폼에서 도움을 원하는 사람에게 답글을 할 때 높은 공감 수준에 해당하는 답변은 드물다. 이를 해결하기 위해서는 전통적인 면대면 방법으로는 수십만 건의 대화를 다루기 힘들다. 따라서 계산적인 방법이 필요하다 (자동화). 기존의 자연어처리 방법으로 공감적인 답변을 생성하는 것은 style transfer, emotion mimic에만 집중했다.

본 연구에서는 처음부터 답변을 생성하는 것이 아닌, 이미 만들어져있는 답변을 최대한 높은 수준의 공감에 맞는 표현으로 고쳐주는 글쓰기 보조 시스템을 만드는 것이다. 본 연구에서 만든 모델은 강화학습을 기반으로 하였으며, 강화학습 에이젼트의 행동은 이전 연구에서 ground truth로 매긴 0부터 6점 사이의 공감에 해당하는 문장 중에 최대한 6점에 가깝도록 문장을 추가하거나, 대체하는 것이다.

이 때 가장 공감적으로 문장을 고쳤을 경우 보상이 주어지며, 내용이 완전히 바뀌지 않도록 수정은 최소한으로 한다. 최대한 자연스러운 공감적인 답변을 만들 수 있도록 여러 자동적인 지표와 임상 대학원생을 모집하여 expert를 대상으로 human evaluation을 했다. 그 결과 본 연구에서 제시한 PARTNER 모델이 다른 기존의 모델보다 최소한으로 수정을 하면서 최대한 더 공감적인 답변으로 수정하게 했으며, 사람들도 본 모델이 고친 답변을 더 선호하는 것으로 나타났다.

참고 문헌

Sharma, A., Lin, I. W., Miner, A. S., Atkins, D. C., & Althoff, T. (2021, April). Towards facilitating empathic conversations in online mental health support: A reinforcement learning approach. In Proceedings of the Web Conference 2021 (pp. 194-205).