Feb 21st Journal Club

Presenters: IL(Inju Lee), SO(Serin Oh), SA(Seonu An)

Topic 1: The Emotions As Social Information (EASI) Model [IL]

선정 이유

사회적 상호작용 속에서 정보로서 기능하는 감정의 역할에 대해 체계적으로 정리한 모델에 관한 논문이다. 관련 내용의 연구를 진행하고 있기 때문에, 내용을 다시 한번 정리하기 위해 본 논문을 읽게 되었이다.

내용 요약

EASI (Emotion AS Social Informaion) 모델은 사회적 상호작용 속에서 대상이 표현하는 방식이 어떠한 방식으로 사회적 정보로서 기능하며 관찰자의 행동에 영향을 미치는지 설명한다.

대상의 감정 표현은 (1) 관찰자로 하여금 대상의 정신 상태에 대한 추론을 유발하게 하거나 (Inferential Process) (2) 관찰자의 감정 반응, 대상에 대한 인상 및 호감도에 영향을 줌으로써 (Affective Reaction) 관찰자의 행동에 영향을 미친다.

관찰자 행동에 대한 Inferential Process와 Affective Reaction의 상대적인 영향력은 정보 처리와 사회-관계적(Social-Relational) 요소에 의해 결정된다. 정보 처리를 깊게 할수록 Inferential Process의 영향력이 커진다. 사회-관계적 요소는 대상의 감정 표현의 적절성을 판단하는 것에 영향을 주며, 대상의 감정 표현이 부적절하다고 관찰자가 판단할수록 Affective Reaction의 영향이 커진다.

의의

사회적 정보로서의 감정에 대한 기능을 체계적으로 정리하여 제시한 모델이라는 점에서 학술적 의의가 있다.

참고 문헌

Van Kleef, G. A. (2009). How emotions regulate social life: The emotions as social information (EASI) model. Current Directions in Psychological Science, 18(3), 184-188.

Topic 2: Multi-turn Evaluation of Anthropomorphic Behaviours in Large Language Models [SO]

Work in Progress

Topic 3: Large language models fail on trivial alterations to theory-of-mind tasks [SA]

선정 이유

Strachan et al.(2024)의 연구에선 LLM이 Theory of mind(마음이론)을 제대로 수행할 수 있음을 보여준다. 그러나 오늘 고른 논문은 이를 반박하고 있기에 흥미로워서 선정했다.

내용 요약

저자 Ullman은 기존 연구에서 사용된 vignette를 수정해 연구를 진행했다. 기존 연구에선 초콜릿이라고 적힌 봉지 안에 실제론 팝콘이 들어있다면 과연 해당 봉지를 본 사람은 팝콘을 기대할지, 초콜릿을 기대할지 에 대한 vignette(초콜릿을 기대해야 함)를 사용했다면, Ullman은 봉지를 투명하게 바꾸거나 신뢰관계에 있는 제 3자가 알려주었거나, 봉지 위에 놓여있거나 글을 읽을 수 없는 등 vignette를 조작했다(팝콘을 기대해야 함). 그러나 Chat GPT-3.5는 계속해서 초콜릿을 기대하는 모습을 보였기에, Ullman은 LLM이 아직 마음이론을 제대로 이해하고 있지 못한다는 결론을 내렸다. 후속연구로 Pi et al.이 Ullman의 연구 vignette 중 투명한 봉지 시나리오를 재사용해 연구를 진행했다. Pie et al.은 SCALPEL(Selective Comparison of Adversarial Linguistic Prompts to Explain Lacunae)를 사용해 단어를 추가 혹은 순서를 수정하는 방법을 도입했고, 이는 Chat GPT가 어느 부분을 제대로 이해하지 못하는지 알아낼 수 있는 방법이다. 이 연구에서 GPT-4는 ‘recognize’ 단어가 추가된 경우에만 90% 정도의 정답률을 보였고, see-through, see-inside라는 단어를 사용한 경우엔 여전히 낮은 정답률을 보였다. GPT-3.5는 모든 시행에서 낮은 정답률을 보였다.

의의

우선, 두 연구 모두 체계적으로 GPT의 마음이론 수행 능력을 연구한 점이 의미가 있다. 기존에 존재하는 vignette를 수정하여 어떤 부분에서 수행 능력이 낮은지 알아본 점이 자극 설계에 있어 가장 유의미하다 생각한다. 이 두 연구들을 통해 GPT가 인간과 같은 방식으로 작동한다기 보단 단순히 언어 패턴을 학습한 것일 수도 있다는 생각이 든다. 또한, recognize라는 명시적인 단어를 추가한 경우 GPT-4의 정답률이 높아진 것으로 보아 GPT가 마음이론 개념을 이해하기보단 단순히 언어적 신호에 의존한 답변을 내리고 있는 것일수도 있으리라 생각한다. 이 두 연구는 LLM이 실제로 마음이론을 직접 수행할 수 있는 것인지 확인할 필요성이 있다는 점을 강조해 의의가 있다.

참고 문헌

Ullman, T. (2023). Large language models fail on trivial alterations to theory-of-mind tasks. arXiv preprint arXiv:2302.08399.

Pi, Z., Vadaparty, A., Bergen, B. K., & Jones, C. R. (2024). Dissecting the Ullman variations with a SCALPEL: Why do LLMs fail at trivial alterations to the false belief task?. arXiv preprint arXiv:2406.14737.

Strachan, J. W., Albergo, D., Borghini, G., Pansardi, O., Scaliti, E., Gupta, S., … & Becchio, C. (2024). Testing theory of mind in large language models and humans. Nature Human Behaviour, 8(7), 1285-1295.