on
Nov 10th Journal Club
Themes: GPT-3, autobiographical, imagined, retold, Chatbot, compassion, mental health, well-being, positive computing
Presenters: YP (Yong-Ha Park), YK (Yoon Kyung Lee), IL (Inju Lee)
Topic 1: 11.09 Looxid Labs Lecture sharing [YP]
Topic 2: Quantifying narrative flow of stories [YK]
선정 이유
예전에 읽었던 ACL Proceeding이 Publish되어 어떤 부분이 업데이트 되었는지 궁금해서 선정함
내용 요약
글의 서사성을 예측할 수 있는 지표인 sequentiality를 formalize함. 문서 내의 특정 문장이 해당 문서의 토픽 (schema)에 맞게 흘러가는지, 또는 토픽과 그 전 문장을 모두 고려했을 때 그에 맞게 흘러가는지(narrative flow)를 GPT-3를 이용하여 예측함. 데이터는 이전 ACL proceeding에서 공개되었던 크라우드 워커들의 일기를 모은 hippocorpus 데이터셋을 사용하고, 그 중 일부를 major, minor events와 expected, unexpected 레이블을 재태깅함. 여기서 events란, 우리가 한 사건에 대한 일화적 기억을 일컫는 데, major event는 해당 사건이 현저하게 기억에 남는 경우를 뜻하며 보통 서사에서는 plot twist가 있는 경우를 일컫음. minor events 는 major에 비해 덜 선명하게 (salient)기억되는 경우를 뜻함. 순차성을 예측하기 위해 문서 내에서 예측하지 못했던 turn이 있을 경우 각 문장에 expected, unexpected 여부를 태깅함. 또한, 스토리 별로 다른 조건을 두어 작성하게 했는데, 자전적(autobiographical), 허구 (imagined), 회상(retold) 3가지 조건을 둠. 이 중, 자전적 이야기를 쓴 사람은 회상 조건에서 자신이 썼던 이야기를 다시 요약하게 함. 허구 조건은 다른 사람이 쓴 자전적 이야기에 대한 요약을 보고 상상하여 이야기를 지어내게 함.
사람들은 자전적 이야기를 쓸 때 오히려 순차성이 낮아지는 것을 발견했으며, 허구의 이야기와 회상 이야기를 작성할 때 보다 자전적 이야기를 작성할 때 더 구체적인 단어를 쓰는 것을 발견함 (인지, 정서, 시간, 장소와 관련된 단어). 자전적 이야기를 다시 회상했을 때, 생생하게 회고하는 것보다 더 높은 순차성을 보였다. 또한, 자전적 이야기가 허구 이야기보다 현저한 사건을 포함하는 것을 발견함.
한계점
태깅하는 과정에서 발생하는 주관성의 개입을 어떻게 해소했는지에 대한 설명이 궁금했는데, 더 서술해주었으면 하는 아쉬움이 있음. 또한, 자전적 vs 허구 스토리에 대한 사람들이 서술하는 방식이 실제 어떻게 다른지도 비교를 할 수 있는 비교군이 있으면 연구의 타당성을 높이는 데 도움이 될 것 같음. 그리고 후속 연구를 통해 주어진 지문에 의해 사람들이 시간 순으로 또는 사건의 현저성 순으로 회고를 하는지 실험을 해보면 더 견고한 결론을 내릴 수 있을 것 같음
의의
글에 담긴 표현과 순차성으로 인해 글의 특성과 목적을 파악할 수 있는 계산적인 방법을 제시한 것이 신선함
향후 거짓정보/기사, 설득력, 글의 목적 등 다양한 자연어처리 분야에 적용될 수 있는 개념이라고 생각함
참고 문헌
Sap, M., Jafarpour, A., Choi, Y., Smith, N. A., Pennebaker, J. W., & Horvitz, E. (2022). Quantifying the narrative flow of imagined versus autobiographical stories. Proceedings of the National Academy of Sciences, 119(45), e2211715119. 링크1
(참고) Jafarpour, A., Griffin, S., Lin, J. J., & Knight, R. T. (2019). Medial orbitofrontal cortex, dorsolateral prefrontal cortex, and hippocampus differentially represent the event saliency. Journal of cognitive neuroscience, 31(6), 874-884. 링크2 Jafarpour, A., Griffin, S., Lin, J. J., & Knight, R. T. (2019). Medial orbitofrontal cortex, dorsolateral prefrontal cortex, and hippocampus differentially represent the event saliency. Journal of cognitive neuroscience, 31(6), 874-884.
Topic 3: Caring for Vincent: A Chatbot for Self-compassion [IL]
선정 이유
사람이 챗봇에게 지지를 제공해주면서 사람 스스로의 self-compassion도 높일 수 있다는 것이 흥미로워 선정하였다.
내용 요약
본 연구는 챗봇에게 사람이 compassion을 제공함으로써 스스로에 대한 self-compassion도 높일 수 있는지 탐색하였다. 참여자는 Care-Giving 챗봇 (참여자가 self-compassion을 연습하도록 가이드) 또는 Care-Receiving 챗봇 (챗봇이 본인의 실수를 말해 참여자에게 compassion을 유도)과 2주간 대화를 하였고, 그 후 self-compassion 정도가 측정되었다. 분석 결과 Care-Receiving 챗봇과 대화한 경우에 self-compassion 정도가 유의하게 증가한 것으로 나타났다. 더 풍부한 분석을 위해 챗봇에 대한 지각, 챗봇과 동일시하는 정도, 대화 참여도 등도 함께 측정하여 분석하였으며, 참여자가 보낸 메시지의 내용을 바탕으로 질적인 분석도 진행하였다 (자세한 내용은 논문 참고).
한계점
Self-compassion에 대한 명확한 정의가 없는 점이 아쉽다. 또한 introduction에서 self-compassion이 심리 건강에 preventative한 효과가 있음을 보여주는 것 또한 중요한 연구 결과인 것처럼 기술했음에도 이를 자세히 다루어주지 않아 아쉽다.
의의
기존의 연구는 대부분 챗봇이 사람에게 지지를 제공해주는 형태로 상호작용을 만들어 왔는데, 본 연구는 이와 달리 사람이 챗봇에게 지지를 제공함으로써 사람 또한 이익을 얻을 수 있다는 것을 보여준 것에 의의가 있다.
참고 문헌
- Lee, M., Ackermans, S., Van As, N., Chang, H., Lucas, E., & IJsselsteijn, W. (2019). Caring for Vincent: a chatbot for self-compassion. In Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems (pp. 1-13).