on
Nov 8th Journal Club
Themes:Human–AI collaboration, Empathic Conversation, Peer Support
Presenters: JL(Joohye Lee), GK(Gyuyi Kang), SL(Soryoo Lee), HL(Hyunjoo Lee)
Topic 1: CAN LANGUAGE MODELS REASON ABOUT INDIVIDUALISTIC HUMAN VALUES AND PREFERENCES? [JL]
선정 이유
AI Ethics와 관련하여, 언어 모델이 인간의 다양성을 얼마나 반영할 수 있을지, 반영하기 위해서는 어떠한 기술이 더 필요할지 알아보고자 선정.
내용 요약
언어 모델이 다양한 인간의 가치와 선호를 추론할 수 있는지에 대해 알아본 논문. 언어 모델이 다양한 가치관을 반영하는 텍스트 데이터를 분석하고, 이를 기반으로 사용자의 선호도를 예측하는 방식으로 연구함. 실험에서는 여러 문화적 배경과 가치관을 고려한 질문과 답변을 사용하여 모델의 추론 능력을 평가. 또한, 이 연구는 모델이 특정 사회적 맥락을 이해하고, 개인의 가치에 맞는 응답을 제공할 수 있는지 분석함.
한계점(선택)
2-3문장 내외 (선행 연구와 비교, 이해가 어려운 부분 등)
의의
언어 모델이 다양한 가치를 고려하고 추구할 수 있게 됨으로서, 사회적 맥락을 고려해 개개인에게 가치에 맞는 응답을 제공할 수 있도록 함.
비고
참고 자료 소개 (해당시), 추가 코멘트(해당시)
참고 문헌
McGrath, S. W., Russin, J., Pavlick, E., & Feiman, R. (2024). How Can Deep Neural Networks Inform Theory in Psychological Science?. Current Directions in Psychological Science, 1-9.
Topic 2: Practical and ethical challenges of large language models in education: A systematic scoping review [GK]
선정 이유
실질적으로 교육 환경에서 실용적 그리고 윤리적 문제점들을 처음으로 리뷰한 논문이다.
내용 요약
교육 분야에서 대형 언어 모델(LLM)의 실용적 및 윤리적 문제에 대해 다루고 있다. 체계적인 검토를 통해 LLM이 교육에 미치는 영향을 조사하고, 이 과정에서 발생하는 실용적 도전(예: 모델의 정확성, 적용 가능성)과 윤리적 문제(예: 데이터 프라이버시, 알고리즘 편향 등)에 대해 분석을 하였다.
한계점(선택)
의의
교육 분야에서 대형 언어 모델(LLM)의 잠재력과 한계를 종합적으로 검토함으로써, 이를 교육 현장에서 효과적이고 책임 있게 활용할 수 있는 방향성을 제시하였다. 특히, LLM의 실용성과 윤리적 측면을 구체적으로 분석함으로써 정책 입안자, 교육자, 연구자들이 LLM을 도입할 때 고려해야 할 주요 문제를 파악 할 수 있다.
비고
참고 문헌
Yan, L., Sha, L., Zhao, L., Li, Y., Martinez‐Maldonado, R., Chen, G., … & Gašević, D. (2024). Practical and ethical challenges of large language models in education: A systematic scoping review. British Journal of Educational Technology, 55(1), 90-112.
Topic 3: The Impact of LLM Hallucinations on Motor Skill Learning: A Case Study in Badminton [SL]
##선정 이유
AI 기술, 특히 대규모 언어 모델(LLM)은 최근 다양한 학습 및 교육 분야에 적용되며 주목받고 있습니다. 본 연구는 LLM의 피드백이 운동 기술 학습, 특히 배드민턴 기술 습득에 미치는 영향을 조사하여 이러한 AI 기술의 효과와 한계를 이해하는 데 중요한 통찰을 제공합니다. 또한, AI가 학습자에게 잘못된 정보를 제공하는 “환각(hallucination)” 현상이 실제 학습 성과에 미치는 영향에 대한 실증적 연구가 부족한 상황에서, 본 연구는 이와 관련된 최초의 연구 중 하나로서 의미가 큽니다. 이러한 이유로 이 주제를 선택하게 되었습니다.
##내용 요약 본 연구는 배드민턴 초보 학습자들이 LLM 기반 애플리케이션(예: ChatGPT, ERNIE Bot)을 통해 운동 기술을 습득할 때 발생하는 환각 현상이 학습 결과에 미치는 영향을 탐구하였습니다. 실험 그룹(LLM을 이용한 학습)과 통제 그룹(전문가의 지도하에 학습)으로 나누어 16주간 학습 효과를 비교하였으며, 주요 기술(예: 클리어, 스매시, 풋워크)의 향상을 측정하였습니다. 결과적으로, LLM을 통한 학습이 일부 기술에서는 혼란을 초래하여 학습 성과에 부정적인 영향을 미친 반면, 통제 그룹은 전반적으로 우수한 성과를 보였습니다. 이러한 결과는 LLM 환각이 운동 기술 학습에 미치는 실질적인 영향을 보여줍니다.
한계점(선택)
2-3문장 내외 (선행 연구와 비교, 이해가 어려운 부분 등)
의의
본 연구는 AI, 특히 대형 언어 모델(LLM)을 활용하여 스포츠 기술 학습의 가능성과 문제점을 실험적으로 검토함으로써, 스포츠 교육에 AI를 효과적으로 통합할 수 있는 방법에 대한 기초 자료를 제공합니다. 또한, 운동 학습 과정에서 LLM이 잘못된 정보를 제공할 수 있다는 점을 밝혀내어 AI 기반 피드백의 신뢰성을 높이기 위한 알고리즘 개선과 품질 관리의 필요성을 강조합니다. 연구 결과를 통해 LLM의 한계와 그로 인한 학습 오류를 규명함으로써, 향후 다양한 운동 종목과 연령층에 맞는 AI 기반 학습 프로그램 개발에 중요한 기초를 마련하였습니다. 마지막으로, AI의 개인 맞춤형 피드백 기능이 학습자에게 효과적으로 적용될 경우, 학습자의 속도와 스타일에 맞춘 맞춤형 학습 환경을 제공할 수 있는 가능성을 제시하였습니다.
비고
참고 자료 소개 (해당시), 추가 코멘트(해당시)
참고 문헌
Qiu, Y. (2024). The impact of llm hallucinations on motor skill learning: A case study in badminton. IEEE Access.
Topic 4: An analytical framework for studying attitude towards emotional AI: The Three-pronged approach [HL]
선정 이유
AI에 대한 사람들의 인식과 태도는 인간공학 심리학의 중심을 이루고 있는 주제이다. 다양한 연구에서 수많은 조건 하에 일어나는 AI와 사람 간의 인터랙션을 연구하는데, 이때 종속 변인이 되는 ‘사람의 반응’을 어떻게 측정하고 이해할 것인지에 대한 근본적인 고민을 담은 리뷰 논문이어서 선정했다.
내용 요약
사람들이 Emotional AI 기술에 얼마나 열려있는지(Acceptance)를 양적으로 측정하기 위해 필요한 접근법을 고안하고 소개한다. 연구를 실행하기 이전 참이라 가정하는 두 가지 전제는 1) Utility와 ease of use가 높을수록 acceptance도 높을 것이며 2) 눈앞의 기술이 기존 사회적 가치관에 부합하지 않을수록 acceptance는 낮아질거라는 것이다. 이 논문에서 제시하는 Three-pronged Approach는 1) Context, 2) variables, 3) statistical models로 이루어져있다. Context는 emotional AI가 쓰이는 구체적인 상황(e.g. 직장, 병원, 보안 관련, 자동차 등)의 특성을 유저 설문지에 반영해야 한다는 것이다. Variables는, 지금까지 가장 흔히 쓰여온 Technological Acceptance Model(앞서 언급한 utility, ease of use 기반)과 Moral Foundation Theory에서 사용하는 요인(변인)들을 사용한다. 마지막으로, Statistical models에 대해서는 각 데이터의 특성에 맞는 통계 모델을 잘 선정해서 결론을 내릴 것을 당부한다.
의의
어찌 보면 조금 당연한 내용인 것 같아 논문으로서 얼마나 의의가 있을지 확실하지 않았는데, 분야에서 정설로 여겨지는 접근법이 존재하는 게 추후 연구에 얼마나 도움이 되는지 생각해보면 충분히 의미가 있는 것 같다. 앞으로 Impact Factor가 어떻게 변해갈지 궁금하다.
참고 문헌
Ho, M. T., Mantello, P., & Ho, M. T. (2023). An analytical framework for studying attitude towards emotional AI: The three-pronged approach. MethodsX, 10, 102149.