Written by Yoon Kyung Lee (yoonlee78@snu.ac.kr)
on 

April 30th Journal Club

Themes: Backpropagation, Cultural Differences, Twitter, Text Analysis, Loneliness, Faux Pas, Trust in Robot, Theory of Mind of AI

Presenters: YK (Yoon Kyung), WH(Whani), IJ(Injoo), HY(Hoyoung), JE(Jaeun), YW(Yoonwon)


Topic 1: Backpropagation [YK]

컴퓨터 공학에서 이미지 분류 영역의 대가이며 ImageNet으로 유명하다. 이 강좌는 제공하는 강의에는 neural net을 이용하여 이미지 인식과 분류에 대해 다룬다. 오늘은 그중 제 4강에 대해 다루어보았다. 뉴럴넷은 우리가 생각하는 뇌과학의 뉴럴넷에서 영감을 얻은 것이긴 하나, 실제 그 계산 방법이나 공학적 표상은 다르다. 이에 심리학적 문제나 지식을 뉴럴넷을 적용해서 분석 또는 구현허고자 할때, 좋은 모델을 형성하는데 중요한 gradient (변화율)을 찾는 방법 중에 하나인 backpropagation에 대해 배운다. 이 강의는 파이썬으로 neural net을 구성하고 gradient descent를 구하는 방법, 그리고 backpropagation을 구하는 방법까지 (코드) 포함되어있다. (자세한 강좌 내용은 자료 d를 참조) 다음 시간에는 vector 계산 부분을 이어서 다룬다.

a. Syllabus
b. Slides
c. Lecture 3
d. Lecture 4


Topic 2: Tight Culture vs Loose Culture [WH]

전세계가 COVID-19으로 인해 마스크 착용과 사회적 거리두기같은 범국민적인 social norm에 따를 것을 요구받고 있다. 한국을 포함한 몇몇 국가들은 마스크를 착용하고 사회적으로 거리두기를 social norm으로 받아들이고 있지만, 그렇지 않은 경우도 sns나 뉴스를 통해 발견되고 있다. 이같은 정책이 범국민적으로 빨리 적용되는데는 새롭게 만들어진 social norm(e.g., 마스크 착용하기)에 순응하고 남과 다르게 행동하지 않으려는 인식이 한몫하지 않았을까?라는 궁금점을 유발한다. social norm에 순응하는 사람과 불응하는 사람에 대한 인식은 문화권별로 다르며 이를 점수로 매긴다면 한국은 몇점에 해당될까? Gelfand(2011)의 연구에서는 Tight culture와 Loose culture를 구분하고 국가별로 얼마나 다른지 비교하였다. 연구에서 정의한 Tight culture는 high social norm을 가지고 있고,한 개인이 이 norm을 벗어나는 행동을 하게되면 타인으로부터 부정적인 평가를 받게되기때문에 더 social norm에 순응하는 행동을 보이게 만드는 문화이다. 많은 나라 중 미국과 한국을 보면 한국이 비교적으로 social norm에 따르지 않는 것에 대해 좀 더 엄격한(tight) 기준을 두는 것을 알 수 있다. 다만, 2011년에 출판된 논문이기에 그간의 사회경제적 변화로 인해 기준 또는 점수가 바뀌었을 수도 있다. Uz (2014)의 결과에서도 미국과 한국은 비슷한 문화 차이를 보였는데, social norm의 순응에 엄격한 문화(tight culture)에 영향을 미치는 요인들이 많으므로(e.g.,low farmland, low air quality, higher food deprivation and etc.)아직 이 차이는 단정적이라고 보기 어렵다.


1. Gelfand, M.J., Raver, J.L., Nishii, L., Leslie, L.M., Lun, J., Lim, B.C., Duan, L, ... Yamaguchi, S. (2011). Differences between Tight and Loose Cultures: A 33-Nation Study. Science, 332(6033), 1100-1104. <br>

2. Uz, I. (2014). The Index of Cultural Tightness and Looseness Among 48 Countries. Journal of Cross-Cultural Psychology, 46(3), 319-335.


Topic 3: Trust Repair Mechanism in Human-Robot Interaction [JE]

기계의 자율성이 높아질수록 기계가 자신만의 목적 및 목표를 찾는 일이 잦아질 것. 그럴수록 간단한 자동화 시스템과 대비하여 사람이 예측하지 못한 행동을 할 가능성이 높아질 것이며, 이 경우 떨어진 신뢰를 회복하는 trust repair mechanism이 필요함. 오늘 리뷰한 de Visser (2018)의 논문은 기계를 사회적 존재로 생각해, 인간-기계 상호작용에서도 인간 간 상호작용과 마찬가지로 사람의 기계에 대한 신뢰가 떨어졌을 경우 기계가 이를 회복할 수 있도록 하는 메커니즘이 필요하다는 관점을 주장했다는 점에서 흥미롭다. 주요 trust repair mechanism에는 apology (internal attribution)와 denial (external attribution)이 있다. 주요 모형에 대해 간단히 소개하자면 다음과 같이 정리할 수 있다.

Transactional model of trust repair의 3단계 (Figure3)

  1. Relationship Act: Beneficial / Cost Act (신뢰에 득/해가 되는 행동)
  2. Relationship Regulation Act: Dampening / Repair Act (신뢰를 줄이는 / 회복하는 행동)
  3. Net Victim Effect: 1과 2과 신뢰에 미치는 영향력의 합계

이 논문은 기계가 사람 간의 관계 회복을 적극적으로 시도한다는 관점이 새로웠다. 인간-기계 상호작용이 장기적으로 이어지려면 필요한 부분이라고 생각한다. 다만, 개념적인 framework을 제공하는 논문이므로 trust repair model이나 trust repair strategy의 적용 방안이 구체적이지 못한 것이 아쉬웠다. 마지막으로, 논문에서 제시한 trust repair 예시를 보았을 때, trust violation type 중 특히 integrity-based failure에 있어서 사용자의 감정이나 가치를 파악하는 데 있어 ToM이 필수적일 것으로 보인다. 향후 Theory of Mind을 갖춘 로봇의 trust repair strategy 사용 방법을 더 구체적으로 발전시킬 수 있을 것이다.

de Visser, E. J., Pak, R., & Shaw, T. H. (2018). From ‘automation’to ‘autonomy’: the importance of trust repair in human–machine interaction. Ergonomics, 61(10), 1409-1427.

Topic 4: Tweet Moodifier: Towards giving emotional awareness to Twitter users [HY]

최근 트위터 분석 사례와 논문이 많이 출판되고 있다. 이에 감정을 분류해주는 AI에 대해 다룬 논문을 리뷰했다. 이 논문에서는 T- modifiers라는 툴을 만들었고, 사용자들이 온라인 상에서 공유하고 소비하는 감정의 정도를 피드백해주었다. 감정은 그들이 피드에 남기는 글에 담긴 감정 단어를 분석했고, positive neutral, negative 3가지로 나누어 보여주었다. 결론적으로는, T- modifiers 사용하고나서 사용자들의 감정적인 awareness가 증가했다. 논문의 장점은 실제 데이터 분석을 진행한 사례로서 향후 데이터 인식 인공지능 연구에 도움이 될 수 있다. 또한, 실제 트위터를 사용하는 사람들을 대상으로 진행한 실험이며, 사용후 변화되는 모습을 선명하게 볼 수 있었다. 트위터 뿐만 아니라, 인스타그램, 페이스북 등의 다른 SNS에서도 사용될 수 있다고 생각한다. 한계점은 Positive VS Negative 를 판별하는 머신러닝에 대해 충분한 설명이 없고, 데이터의 수가 다소 제한적이어서 아쉬웠다.

Picard, R. W. (2019). Tweet Moodifier: Towards giving emotional awareness to Twitter users. arXiv preprint arXiv:1907.11741. [link](https://arxiv.org/pdf/1907.11741.pdf) 


Topic 5: [OPP] Mental State Inference using Faux Pas [IJ]

*One Page Proposal. 프로포절의 자세한 내용은 내부적으로만 공유하고, 관련 문헌에 대한 리뷰와 활용방안, 기대효과만 공개.

사람들은 크게 Shared world knowledge, Social cues, Interpretation of action 3가지 단서를 이용하여 타인의 마음 상태(mental state)를 추론할 수 있다(Byom, L. J., & Mutlu, B., 2013). Faux Pas test는 Shared world knowledge를 이용하여 등장인물의 행동을 이해하고, 부적절한 말과 행동이 있었는지 파악하는 테스트로 볼 수 있다. Faux Pas test 중 3번 부적절함(Inappropriateness)에 대한 답변을 추려보면, 대개 참여자가 옳다고 생각하는 암묵적인 사회 규칙으로부터 벗어난 행동을 했을 때, 등장인물의 말이 부적절하다고 판단을 하는 것으로 나타났다. 특히 Story1의 경우 Faux Pas가 없는 Control Question임에도, 처음 만난 사람과 어떻게 상호작용하는 것이 적절하다고 평소에 생각해왔는지 따라, 등장인물의 말이 부적절하다고 판단한 경우가 존재하였다. 이를 토대로 처음 만났을 때 서로의 상호작용의 패턴이 일치해야 원활한 상호작용이 가능하다는 것을 추론할 수 있다. 상호작용이 원활하여야 좋은 첫인상을 형성할 수 있으며, 이는 향후 관계에도 영향을 줄 것이다. 로봇과 상호작용을 할 때에도 로봇에 대한 신뢰(trust)에 있어 첫인상이 중요하다는 연구 결과가 존재한다(Xu, J., & Howard, A. , 2018). 어떠한 방식으로 대화를 시작하여야 사람이 로봇에 대해 긍정적인 첫인상을 형성하는지 연구해볼 수 있다. 본 연구를 통해 챗봇과 사람이 상호작용을 어떻게 시작해는 것이 좋을지에 대한 함의점을 제공해줄 수 있을 것이다.

1. Faux Pas Test / Reading Mind in the Eyes Test

2. Byom, L. J., & Mutlu, B. (2013). Theory of mind: Mechanisms, methods, and new directions. Frontiers in human neuroscience, 7, 413.

3. Xu, J., & Howard, A. (2018, August). The impact of first impressions on human-robot trust during problem-solving scenarios. In 2018 27th IEEE International Symposium on Robot and Human Interactive Communication (RO-MAN) (pp. 435-441). IEEE.


Topic 6: [OPP] Reducing Loneliness using Technology [YW]

사회적으로는 기술이 건강한 인간관계와 외로움에 부정적인 영향을 미친다는 인식이 팽배해 있다. 그러나 기술과 외로움의 관계에 대한 리뷰 논문에 기술이 실제 대면 상호작용을 대체하면 외로움에 부정적 영향을, 실제 대면 상호작용을 촉진하면 외로움에 긍정적인 영향을 미친다. 기술이 실제 대면 상호작용을 대체할 때의 어떤 특성 때문에 외로움에 부정적 영향을 미치는 것인지 생각해 보고, 기술이 어떻게 상호작용을 구현해야 “진짜 상호작용을 한다”는 느낌을 줄 수 있을지를 고민해야 한다고 생각했다.기술을 사용한 상호작용의 질적 차이는 video, audio, text의 순서로 실제 상호작용과 차이가 벌어지는데, 이러한 차이에는 modality뿐만 아니라 feedback의 즉각성 여부 또한 영향을 미쳤을 수 있다. video와 audio는 즉각적인 피드백이 주어지는 형태의 상호작용을, text는 즉각적이지 않은 형태의 상호작용을 사용하였기 때문에, 만약 video와 audio가 즉각적이지 않은 피드백이 오고가는 형태라면 상호작용에 따른 positive emotion 혹은 bonding의 느낌이 달라질 수 있을 것이다. 이때 video와 audio의 효과 차이가 누구와 상호작용하느냐에 따라 달라진다는 연구결과도 있었으므로, significant others와 같은 매우 친밀한 사람들끼리의 상호작용과 잘 모르는 사람들끼리의 상호작용 또한 구분해야 한다. 디자인 구체화를 위해 좀 더 review를 보완해서 이 연구주제와 관련된 현재 동향을 더 살펴볼 예정이다.

본 연구는 코로나바이러스로 인해 어쩌면 장기적으로 바뀔 수 있는 사회적 상호작용 방식에 대비하여, 기술을 활용해 좋은 사회적 관계를 경험하고 외로움을 줄일 수 있는 방안을 마련하는데 기여할 것이다.

1. https://cyberpsychology.eu/article/view/4285)
2. https://www.sciencedirect.com/science/article/pii/S0747563217300559


The End.