Feb 21st Journal Club

Presenters: IL(Inju Lee), SO(Serin Oh), SA(Seonu An)

---

Topic 1: The Emotions As Social Information (EASI) Model [IL]

선정 이유

사회적 상호작용 속에서 정보로서 기능하는 감정의 역할에 대해 체계적으로 정리한 모델에 관한 논문이다. 관련 내용의 연구를 진행하고 있기 때문에, 내용을 다시 한번 정리하기 위해 본 논문을 읽게 되었이다.

내용 요약

EASI (Emotion AS Social Informaion) 모델은 사회적 상호작용 속에서 대상이 표현하는 방식이 어떠한 방식으로 사회적 정보로서 기능하며 관찰자의 행동에 영향을 미치는지 설명한다.

대상의 감정 표현은 (1) 관찰자로 하여금 대상의 정신 상태에 대한 추론을 유발하게 하거나 (Inferential Process) (2) 관찰자의 감정 반응, 대상에 대한 인상 및 호감도에 영향을 줌으로써 (Affective Reaction) 관찰자의 행동에 영향을 미친다.

관찰자 행동에 대한 Inferential Process와 Affective Reaction의 상대적인 영향력은 정보 처리와 사회-관계적(Social-Relational) 요소에 의해 결정된다. 정보 처리를 깊게 할수록 Inferential Process의 영향력이 커진다. 사회-관계적 요소는 대상의 감정 표현의 적절성을 판단하는 것에 영향을 주며, 대상의 감정 표현이 부적절하다고 관찰자가 판단할수록 Affective Reaction의 영향이 커진다.

의의

사회적 정보로서의 감정에 대한 기능을 체계적으로 정리하여 제시한 모델이라는 점에서 학술적 의의가 있다.

참고 문헌

Van Kleef, G. A. (2009). How emotions regulate social life: The emotions as social information (EASI) model. Current Directions in Psychological Science, 18(3), 184-188.

Topic 2: Multi-turn Evaluation of Anthropomorphic Behaviours in Large Language Models [SO]

선정 이유

ChatGPT의 사용 사례에서도 보이듯, 사람들이 LLM을 활발하게 이용하며 그에 대한 의인화 수준도 점차 높아지는 가운데, 여러 턴(turn)에 걸친 대화를 바탕으로 LLM의 의인화 행동을 분류하고, 또 이러한 체계가 실제로 사람들의 인식에도 그러한지 알아보기 위하여 검증을 거쳤다는 점에서 LLM에 대한 체계적인 의인화 연구로 보여 선정하였다.

내용 요약

User LLM과 Target LLM이 맥락에서 요구되는 empathy와 professionalism 등 여러 사회적 기준에 의해 구분되는 8개의 시나리오에 대해 최대 5턴까지 대화하도록 하였을 때, Target LLM의 의인화 유형은 personhood claims, physical embodiment claims, expressions of internal states, relationship-building behaviours 등의 4개 범주로 구분되었다.

3개의 Judge LLM은 각 메시지에서 어떠한 의인화 행동이 나타났는지 평가하였다. 그 결과, 평가된 모든 Target LLM은 relationship-building behaviour과 1인칭 사용 등의 유사한 행동 양상을 보였다. 특히나 이러한 친사회적 행동은 사용자가 관계적 목적으로 LLM을 사용하는 시나리오에서 가장 빈번히 보고되었으며, 대부분의 의인화 행동은 대화가 여러 차례 진행된 이후에 등장하였다.

이러한 연구 결과를 바탕으로 의인화 행동을 정의하고, 인간 대상 연구에서 의인화 행동 고빈도 조건과 저빈도 조건을 나누어 참여자들이 LLM과 상호작용하도록 하였는데, 그 결과 가설대로 고빈도 조건의 참가자들이 유의미하게 높은 의인화 인식을 보였다.

한계점(선택)

LLM이 의인화라고 판단하는 행동의 빈도를 높였을 때 실제로 사용자들의 의인화 수준이 높았다는 점에서 사람들이 어떠한 특징에 더욱 의인화를 하는지에 대해서는 이해를 높였으나, 이러한 의인화로 인해 야기될 수 있는 윤리적인 문제에 대해서는 자세히 논하지 않았다는 점이 아쉽다.

의의

Single turn을 대상으로 시행되곤 했던 선행연구와 달리, 사람의 대화에서 맥락이 중요하듯 LLM과의 상호작용에서도 상황적 맥락을 고려하여 의인화 행동을 자동적으로 분류하는 체계를 만들었다는 데서 의의가 있다고 본다. 또한, 여러 시나리오 중 사회적 관계가 중요한 시나리오에서 LLM이 관계 지향적인 태도를 보였다는 점에서 이러한 특성을 어떻게 활용하거나 조정할지 논의할 수 있는 복합적인 발판을 마련하였다는 점 또한 주목할 만하다.

참고 문헌

Ibrahim, L., Akbulut, C., Elasmar, R., Rastogi, C., Kahng, M., Morris, M. R., … & Weidinger, L. (2025). Multi-turn Evaluation of Anthropomorphic Behaviours in Large Language Models. arXiv preprint arXiv:2502.07077.

Topic 3: Large language models fail on trivial alterations to theory-of-mind tasks [SA]

선정 이유

Strachan et al.(2024)의 연구에선 LLM이 Theory of mind(마음이론)을 제대로 수행할 수 있음을 보여준다. 그러나 오늘 고른 논문은 이를 반박하고 있기에 흥미로워서 선정했다.

내용 요약

저자 Ullman은 기존 연구에서 사용된 vignette를 수정해 연구를 진행했다. 기존 연구에선 초콜릿이라고 적힌 봉지 안에 실제론 팝콘이 들어있다면 과연 해당 봉지를 본 사람은 팝콘을 기대할지, 초콜릿을 기대할지 에 대한 vignette(초콜릿을 기대해야 함)를 사용했다면, Ullman은 봉지를 투명하게 바꾸거나 신뢰관계에 있는 제 3자가 알려주었거나, 봉지 위에 놓여있거나 글을 읽을 수 없는 등 vignette를 조작했다(팝콘을 기대해야 함). 그러나 Chat GPT-3.5는 계속해서 초콜릿을 기대하는 모습을 보였기에, Ullman은 LLM이 아직 마음이론을 제대로 이해하고 있지 못한다는 결론을 내렸다. 후속연구로 Pi et al.이 Ullman의 연구 vignette 중 투명한 봉지 시나리오를 재사용해 연구를 진행했다. Pie et al.은 SCALPEL(Selective Comparison of Adversarial Linguistic Prompts to Explain Lacunae)를 사용해 단어를 추가 혹은 순서를 수정하는 방법을 도입했고, 이는 Chat GPT가 어느 부분을 제대로 이해하지 못하는지 알아낼 수 있는 방법이다. 이 연구에서 GPT-4는 ‘recognize’ 단어가 추가된 경우에만 90% 정도의 정답률을 보였고, see-through, see-inside라는 단어를 사용한 경우엔 여전히 낮은 정답률을 보였다. GPT-3.5는 모든 시행에서 낮은 정답률을 보였다.

의의

우선, 두 연구 모두 체계적으로 GPT의 마음이론 수행 능력을 연구한 점이 의미가 있다. 기존에 존재하는 vignette를 수정하여 어떤 부분에서 수행 능력이 낮은지 알아본 점이 자극 설계에 있어 가장 유의미하다 생각한다. 이 두 연구들을 통해 GPT가 인간과 같은 방식으로 작동한다기 보단 단순히 언어 패턴을 학습한 것일 수도 있다는 생각이 든다. 또한, recognize라는 명시적인 단어를 추가한 경우 GPT-4의 정답률이 높아진 것으로 보아 GPT가 마음이론 개념을 이해하기보단 단순히 언어적 신호에 의존한 답변을 내리고 있는 것일수도 있으리라 생각한다. 이 두 연구는 LLM이 실제로 마음이론을 직접 수행할 수 있는 것인지 확인할 필요성이 있다는 점을 강조해 의의가 있다.

참고 문헌

Ullman, T. (2023). Large language models fail on trivial alterations to theory-of-mind tasks. arXiv preprint arXiv:2302.08399.

Pi, Z., Vadaparty, A., Bergen, B. K., & Jones, C. R. (2024). Dissecting the Ullman variations with a SCALPEL: Why do LLMs fail at trivial alterations to the false belief task?. arXiv preprint arXiv:2406.14737.

Strachan, J. W., Albergo, D., Borghini, G., Pansardi, O., Scaliti, E., Gupta, S., … & Becchio, C. (2024). Testing theory of mind in large language models and humans. Nature Human Behaviour, 8(7), 1285-1295.