on
Aug 9th Journal Club
Themes:Human–AI collaboration, Empathic Conversation, Peer Support
Presenters: SL(Soryoo Lee), SO(Serin Oh), IL(Inju Lee)
Topic 1: Using Large Language Models in Psychology [SO]
선정 이유
심리학 내부에서도 LLM을 학문적 도구로 어떻게 활용하면 좋을지 논의가 활발히 이루어지는 만큼, 그에 전반적인 가이드라인을 제공해주기를 기대하여 선정하였다.
내용 요약
언어는 아동기 mental model을 구축하는 도구에서 시작해 사건을 묘사하고, 타인과 의사소통하는 등 심리과학의 전영역에서 핵심 기능으로 이용된다. NLP의 발달은 이러한 언어적 측정을 좀 더 용이하게 만들어주었고, 나아가 LLM은 통계적 모형으로는 불가능한 맥락적 파악을 허용하고 압도적인 텍스트를 학습하였다는 점에서 탁월한 성능을 보인다. 이러한 배경에서, 심리학의 주요 과제는 발전된 기술에 대한 이해를 얼마만큼, 어느 기간 동안 연구에 적용할지 그 부작용을 최소화하며 결정하는 일일 것이다.
현재 LLM은 매우 큰 training set을 바탕으로 역전파 등의 기법을 사용해 사람과 유사한 수준의 언어 능력을 갖추고 있다. 그러나 이는 문법적으로는 맞을지 몰라도 심리학적인 관점에서는 무용한 답변을 주고는 한다. 특정한 심리학적인 과제를 해결하기 위해서는 보편적인 LLM이 아닌 fine-tuning이나 prompt-tuning을 거쳐 심리학적 기능이 구축된 LLM이 필요하며, 이를 위해 심리학자들은 psychological construct를 정의하고 적용하는 연구를 해야 한다.
한편, LLM은 실제로 human intelligence를 구현하지는 않는다는 점에서 주의가 필요하다. LLM은 입력된 데이터셋의 ‘average’를 output으로 만들어내는 만큼, 특정 편견 등을 비롯해 사람들의 보편적인 답을 알려줄 뿐이지 항시 옳은 내용만을 전달하지는 않는다. 달리 생각하면 사람들의 보편적인 생각이 어느 수준인지 탐색하기 위한 도구로도 사용 가능하지만, 편견의 재생산이나 오독 등을 여전히 유념해야 한다. 이를 위해 expert evaluation과 impact evaluation의 혼용, ‘AI-in-the-loop, humans in charge’ 등의 해결책을 생각할 수 있다.
또한, LLM은 답안까지의 그 사고 과정을 알지 못하고 stochastic model이라는 고려하여, 심리학자들은 LLM에 의해 분석된 언어적 특징의 심리학적 사유를 탐구하고 stochasticity를 사람과 유사한 불확실성으로 간주해 reproducible tool로 사용해야 한다.
이처럼 LLM이 폭넓게 이용되는 현대 사회에서, 심리학자들은 keystone dataset에 관심을 두고 컴퓨터공학이 아닌 심리학적 기준에 맞는 benchmark를 설정할 뿐더러, LLM 등 기술적 도구에 대한 접근성을 확보하고 타 학문과 활발히 교류하는 일이 필수적이다.
의의
개별 연구라는 좁은 차원이 아니라, LLM이라는 거대한 도구를 어떻게 사용하면 좋을지 개괄적인 안내를 제공하여 LLM에 있어 심리학자들이 항상 어떠한 부분을 유념해야 할지 알려준다는 의의가 있다.
그러나 논문을 처음 선택하며 기대하였던 바는 연구에 LLM을 직접 어떠한 식으로 활용하면 좋을지였으므로 그러한 측면에 대한 아쉬움은 남는다.
참고 문헌
Demszky, D., Yang, D., Yeager, D.S. et al. Using large language models in psychology. Nat Rev Psychol 2, 688–701 (2023). https://doi.org/10.1038/s44159-023-00241-5
Topic 2: How Robots Infuence Humans: A Survey of Nonverbal Communication in Social Human–Robot Interaction [SL]
선정 이유
로봇과 인간 상호작용 관련 여러 분야의 논문 결과를 정리해두었으므로 관심사에 따라 해당 논문을 찾아서 보는데 유용할 것입니다.
내용 요약
로봇의 비언어적 소통이 인간과 로봇 간의 사회적 상호작용에서 인간의 인식, 감정, 행동, 그리고 작업 수행에 어떻게 영향을 미치는지를 탐구합니다. 다양한 비언어적 소통 방식인 운동학, 근접학, 촉각, 시간학을 통해 로봇의 제스처, 시선, 신체 움직임, 표정 등이 인간에게 미치는 영향을 분석했습니다. 연구 결과, 이러한 비언어적 소통이 인간의 인식과 감정에 긍정적인 영향을 미칠 수 있으며, 작업 수행을 향상시키는 데 중요한 역할을 할 수 있음을 보여줍니다.
한계점(선택)
의의
로봇의 비언어적 의사소통이 사회적 상호작용에서 사람들에게 미치는 영향을 이해하는 데 있어 몇 가지 주요 발견을 도출했습니다. 여러 비언어적 모달리티를 다룬 연구들은 인간에게 미치는 영향 유형에 맞춰 조정될 수 있는 결과를 제공했습니다. 이 논의에서는 각 영향 유형에 대해 주요 발견들을 정리하고, 이 분야의 연구를 확장하고 사회적 인간-로봇 상호작용(HRI)에 미치는 영향을 증가시키기 위해 해결해야 할 과제를 식별하며, 미래의 연구 방향에 대한 통찰을 제시합니다.
비고
참고 문헌
Saunderson, S., & Nejat, G. (2019). How robots influence humans: A survey of nonverbal communication in social human–robot interaction. International Journal of Social Robotics, 11(4), 575-608
Topic 3: Can Generative AI improve social science? [IL]
선정 이유
AI를 분석 도구로써 심리학 연구에 접목하는 것에 관심이 많음. 생성형 AI를 심리학 연구에 이용할 수 있는 여러 접근법과 그때 고려해야 할 점들을 파악하고 싶어 이 논문을 읽어봄.
내용 요약
사회과학 분야의 연구들에 있어 생성형 AI를 이용할 수 있는 방법과 또 생성형 AI를 이용했을 때 발생할 수 있는 위험과 문제점에 대해서 포괄적으로 다루었음. 생성형 AI는 사람을 흉내내는 능력이 뛰어나며 이를 다양한 방법으로 사회과학 연구에서 활용할 수 있음. 생성형 AI를 통해 특정 인구 집단의 특성을 반영하는 “sillicon sample”을 만들어낼 수 있음. Sillicon sample을 이용해 실험을 시뮬레이션 해보는 것이 가능하며, 특정한 조건 속에서의 인간 행동 역동에 대해 분석해볼 수도 있음. 텍스트를 분석할 때도 생성형 AI를 이용할 수 있음. 특히 사회과학 분야에서 참여자 답변 내용을 질적 분석 및 코딩하는 연구가 많이 진행되는데, 참여자 답변을 코딩하는 것을 생성형 AI가 대체할 수 있는 가능성을 보여줌. 하지만 생성형 AI는 편향이 있다는 점, 잘못된 정보를 퍼트릴 수 있다는 점, 생성형 AI와 상호작용 하는 과정에서 AI가 참여자에게 모욕적인 말 또는 잘못된 정보를 내뱉을 수 있다는 점, 생성형 AI를 이용한 연구의 결과들이 재현 가능한지 불확실하다는 점에서 문제점을 지님. 본 논문의 저자는 생성형 AI의 문제점을 최소화하며 그 잠재성을 최대한 이용하는 방법으로써, 사회과학 연구를 위한 오픈 소스 모델을 엄격하고 신중한 과정을 통해 만들고 관리하는 것을 제안함.
의의
생성형 AI를 사회과학 분야의 연구에서 이용할 때 참고할 만한 내용들을 보다 넓은 관점에서 정리해주어서 좋았음. 저자가 사회학, 정치학, 공공정책학 전공이라, 해당 분야의 연구들이 저자가 제시한 예시의 주가 되었던 점은 조금 아쉬움.
참고 문헌
Bail, C. A. (2024). Can Generative AI improve social science?. Proceedings of the National Academy of Sciences, 121(21), e2314021121.