on
Feb 17th Journal Club
Themes: emotion categories, computational modeling, virtual reality, prosocial behavior
Presenters: YJ (Yoonwon Jung), SB (Seoyeon Bae)
Topic 1: Computational approach to model emotion categories [YJ]
선정 이유
머신러닝 기법을 방법론으로 사용하여 심리학 이론을 검증한 연구가 Nature지에 실린 것을 발견하고 선정하였다.
내용 요약
감정에 관한 많은 연구들은 슬픔, 행복과 같은 특정한 감정 카테고리들(emotion categories)을 정의할 수 있는 고유하고 원형적인 얼굴 표정이 존재한다는 기본 감정 가설(basic emotion hypothesis)를 기반으로 수행되어 왔다. 그러한 연구들은 각 감정을 나타내는 얼굴 표정들의 카테고리 내의 분산은 유의미하게 적고(high reliability) 서로 다른 감정을 표현하는 표정들 간의 분산은 유의미하게 높기 때문에(high specificity) 사람들의 표정에서 감정 상태를 유추하는 것이 가능하다고 본다. 그러나, 구성주의(constructionist) 등이 취하는 맥락 민감성 가설(context-sensitivity hypothesis)은 사람들이 감정을 맥락 특정적인 방식으로 표현한다는 입장을 취한다. 이에, 얼굴 움직임 또한 각 감정 표현 개별 단위가 속한 맥락에 맞추어 발생하기 때문에 각 감정 카테고리별로 특정적인 얼굴 표정은 신뢰도(reliability)와 특이성(specificity)이 모두 떨어진다고 본다. 이 연구에서는 감정을 유발하는 시나리오를 보고 전문적인 배우들이 취한 얼굴 표정 사진을 이용하여 카테고리 내부의 다양성과 카테고리 간 유사성의 정도를 측정하였다. 해당 사진들은 전문 배우들이 시나리오만을 보고 자유롭고 다양하게 감정 표현을 한 것에 대한 기록이자 다른 배우들의 연습 교본으로 쓰일 만큼 감정 표현이 충분하고 명확한 자료라는 점에서 실험 자극으로서의 적절성과 생태학적 타당도를 모두 만족한다. 이를 통해 감정에 관한 두 개의 가설 중 어느 것이 지지되는지를 보고자 하였다. 연구1에서 참여자들은 총 604개의 시나리오에 대하여 각 시나리오에서 13개의 감정이 얼마나 나타나 있는지를 리커트 척도로 평정하였다. 또한, 세 명의 전문가들은 얼굴 표정 사진을 보고 Facial Action Coding System (FACS)에 의하여 얼굴 근육의 단위를 이루는 개별 Action Unit(AU)의 값을 코딩하였다. 이러한 평정값을 기반으로 위계적 군집화를 수행하여 최적의 감정 범주 모델을 도출한 결과, 군집 내부 일치 점수(intra-cluster match score)의 중간값이 0.4인 80개의 군집을 가지는 모델이 최종적으로 선정되었다. 군집 내부 일치 점수의 중간값은 군집 내부의 신뢰성(reliability) 점수에 해당하였는데, 0.4는 보통 정도의 신뢰성 (moderate reliability; 0.4~0.69)에 해당되는 점수였다. 또한 80개의 군집 중 0.4이상인 군집 39개 중 Facial Action Coding System을 적용하여 분류할 수 있는 13개의 감정 범주와 유사하다고 볼 수 있는 범주는 1개(두려움)에 불과하였고, 그 외의 군집들은 통계적으로 유의미하게 한 개 이상의 얼굴표정 조합을 보여 낮은 특이성(specificity)를 시사하였다. 또 한편으로는, 각 시나리오를 13개 감정에 대한 평정 값들 중 가장 높은 중간값을 가지는 감정으로 분류(classify)한 후, 모든 조합의 일치 점수(match score)의 중간값을 계산하였다. 그 결과, 대부분의 감정 범주들이 일치 점수의 중간값이 0.4에 미치지 못하여, 약한 신뢰도를 보였다. 경외(awe), 두려움(fear), happiness(행복), surprise(놀람)만이 보통 정도의 신뢰성을 보였다. 이는 전문 배우들이 각 기본 감정의 원형적인 얼굴 표정보다는 상황에 맞는 다양한 얼굴 표정을 선보였음을 시사한다. 다만 경외(aw)의 경우에는 예외적으로 기본 감정 가설을 더 지지하였다. 배우들이 지은 얼굴 표정이 범주 특정적인지 혹은 범주 간 유사성이 높은지 그 특이도(specificity)를 검증하기 위해서는 13개의 기본 감정 범주 각각에 대하여 거짓 양성률(false positive rate)을 계산하였다. 그 결과, 특이도는 거짓 양성률을 계산할 수 있었던 9개의 범주 중 6개 범주는 보통 정도로 나타났으며 경외, 경멸 및 혐오감은 낮은 정도로 나타났다. 연구2에서 참여자들은 얼굴 표정 사진만 주어진 조건과 얼굴 표정 및 시나리오가 모두 주어진 조건에 무작위로 할당되어 각 자극에 13개의 감정이 얼마나 나타나 있는지를 리커트 척도로 평정하였다. 각 조건의 각 자극들의 감정값은 연구1에서와 마찬가지로 13개 감정들의 중간값으로 계산되었다. 각 조건의 감정값과 연구1에서 계산된 얼굴표정 및 시나리오 감정값들 간 상관 관계를 계산한 결과, 얼굴 표정과 시나리오가 같이 주어진 경우의 감정값은 얼굴표정 감정값보다 시나리오 감정값에 의해 더 강하게 예측되었다. 이는 맥락 속 얼굴 표정의 감정적 의미가 얼굴 표정 자체보다 시나리오 속 감정적 정보에 의해 더 잘 예측됨을 제시한다. 또한 시나리오 감정값이 얼굴 표정과 시나리오가 함께 주어진 경우의 감정값 중 얼굴표정 감정값이 설명하지 못하는 분산에 대한 예측력을 보였으나 반대로 얼굴표정 감정값은 시나리오 감정값이 설명하지 못하는 분산에 대해 좋은 예측력을 보이지 못했다. 이는 맥락 속 얼굴 표정의 감정적 의미의 많은 부분이 시나리오의 감정적 의미만으로 설명될 수 있음을 시사한다. 이러한 연구 결과는 감정 표현 및 제3자의 감정 추론 모두에서 맥락 의존에 의한 카테고리 내 다양성 및 카테고리 간 유사성이 나타나, 기본 감정 가설보다는 맥락 민감성 가설에 대한 지지를 보였다. 이러한 결과는 얼굴의 움직임과 감정에 대한 인식이 상황에 따라 다르며 감정 표현의 고정 관념을 초월함을 시사한다.
의의
탄탄한 논리로 거대한 두 이론의 검증을 위한 가설을 꼼꼼하게 세운 후, 머신 러닝 기법 및 통계적 검증을 혼합하여 해당 가설을 과학적으로 검증하였다. 이는 감정 과학에 관심이 있는 연구자들뿐 아니라 새로운 방법론을 사용하여 심리학 연구를 수행하고자 하는 연구자들에게 귀감이 될 것으로 생각한다.
참고 문헌
Le Mau, T., Hoemann, K., Lyons, S. H., Fugate, J., Brown, E. N., Gendron, M., & Barrett, L. F. (2021). Professional actors demonstrate variability, not stereotypical expressions, when portraying emotional states in photographs. Nature communications, 12(1), 1-13.
Topic 2: Virtual superheroes: Using superpowers in virtual reality to encourage prosocial behavior [SB]
선정 이유
Virtual reality 관련 연구를 진행하고자 literature review를 진행하던 중, 흥미로운 주제로 진행된 연구가 있어 소개하고자 하였다.
내용 요약
참여자들은 초능력 조건과 탑승객 조건, 도움 조건과 투어 조건으로 나뉘어 VR 기기를 착용하여 가상 현실 속에서 해당 조건에 상응하는 경험을 하게 된다. 초능력 조건의 참여자들은 가상 환경 속에서 하늘을 날아다닐 수 있으며, 탑승객 조건은 헬리콥터에 탑승하여 하늘을 날 수 있다. 도움 조건에서는 당뇨병을 앓고 있는 아동을 찾아내 인슐린 주사를 건네줘야 하는 상황을 맞닥뜨리고, 투어 조건은 단순히 헬리콥터나 자신의 초능력을 이용해 날아다니며 도시를 투어하게 된다. VR 체험이 끝난 후 참여자들은 연구진이 의도적으로 떨어트린 펜을 얼마나 많이, 빠른 시간 안에 줍는지를 통해 친사회적 행동을 측정하게 되며, 마지막으로 일련의 설문(SSQ, environmental presence, POQ)에 응답한 후 실험을 종료한다. 연구진이 세운 가설은 첫째, 훨씬 더 몰입도 있는 가상 현실을 경험한 참여자들이 (초능력 조건), 둘째, 가상 현실 속에서 친사회적 행동을 수행한 참여자들이 (도움 조건) 실제로도 더 타인을 돕고자 한다는 것이다. 연구 결과, 초능력 조건의 참여자들이 탑승객 조건의 참여자들에 비해 타인을 돕는 행위가 훨씬 빨랐으며 전자가 후자보다 더 많은 펜을 주워주기도 하였다. 즉, 훨씬 더 몰입도 있는 VR 경험(초능력을 통해 직접 날아다니기)이 현실에서의 친사회적 행동을 촉진한 것이다. 여기에는 자아개념, 정체성에서의 변화, ‘초능력’이 ‘영웅’과 연결되는 암묵적인 지식이 매개하였을 가능성이 있다. 하지만 가상 현실에서의 도움 행동 유무는 현실에서의 도움 행동에 유의미한 영향을 미치지 않았으며, 친사회적 행동을 측정하는 자기보고 설문 (POQ) 또한 참여자 그룹 별로 유의미한 차이가 없는 것으로 나타났다.
한계점
VR 참여가 종료된 후, 현실에서의 참여자들의 친사회적 행동을 알아보기 위해 사용된 ‘펜 줍기 과제’가 아쉬웠다. 결과 분석에서는 제외되었지만 실제 참여자들 중 해당 과제의 의도를 알아챈 사람들도 있었다고 한다. 또한, 친사회적 행동 뿐만 아니라 참여자들의 공감 등 다른 정신적 요소도 함께 측정하고, 해당 변수들 간의 관계를 알아보았다면 더 풍부한 결과가 될 수 있었을 것으로 생각된다.
의의
2013년에 발표된 논문인 만큼, 당시 거의 최초로 가상 환경에서 사람들의 친사회적 행동의 효과를 알아보고자 하였다는 의의가 있다. 이와 더불어, ‘초능력’이라는 다소 창의적인 요소를 체화(경험)하는 것이 실제 친사회적 행동에 어떤 영향을 미치는지를 알아본 것에서도 본 연구가 주목할 만한 가치가 있다고 생각된다.
참고 문헌
Rosenberg, R. S., Baughman, S. L., & Bailenson, J. N. (2013). Virtual superheroes: Using superpowers in virtual reality to encourage prosocial behavior. PloS one, 8(1), e55003. https://doi.org/10.1371/journal.pone.0055003