on
Jul 12th Journal Club
Themes:Human–AI collaboration, Empathic Conversation, Peer Support, Learning by Asking
Presenters: IL (Inju Lee), GK(Gyuyi Kang), JL(Joohye Lee)
Topic 1: Human–AI collaboration enables more empathic conversations in text-based peer-to-peer mental health support [IL]
선정 이유
사람이 보다 공감적으로 대화할 수 있도록 도와주는 하나의 도구로써 AI를 사용하는 접근법이 흥미로워 읽어보았음.
내용 요약
Peer-to-peer support 플랫폼에서 지지를 찾는 사람(support seeker)과 지지를 제공하는 사람(peer supporter) 간의 지지적 대화들이 이루어짐. 하지만 공감적으로 대화하는 것은 복잡하고 미묘한 측면 스킬을 필요로 하기 때문에, 상담가들과 달리 훈련을 받지 않은 peer support들은 적절한 공감적 지지를 제공해주는 것이 어려움.
본 논문은 peer supporter가 보다 효과적으로 공감을 표현할 수 있도록 대화 상황 속에서 실시간으로 AI가 여러가지 피드백을 제공하는 Human–AI coLlaboration approach for EmpathY(HAILEY)를 제안하였음. AI가 제공하는 공감 표현에 대한 피드백은 PARTNER (emPAthic RewriTing in meNtal hEalth suppoRt)라는 deep reinforcement learning model을 통해 실시간으로 만들어짐. AI가 제공하는 피드백을 수용할 것인지, 수용한다면 어느 정도로 본인의 공감 표현에 반영할 것인지는 peer support 스스로 판단하여 결정하도록 함.
Peer-to-peer support 플랫폼 중 하나인 TalkLife에서 참여자를 모집함(N=300). 참여자들은 human + AI 조건(AI가 피드백을 주는 조건)과 human only 조건(AI가 피드백을 주지 않는 조건)으로 무선 할당됨. AI가 피드백을 제공하는 것의 효과를 보다 보수적으로 평가하기 위해, 두 조건의 참여자 모두에게 공감에 대한 기본적인 교육을 사전에 제공함. 그 후 10개의 support seeker 글들에 대해서 공감적 답변을 작성하도록 함.
Peer support로서 공감적 답변을 작성했던 참여자들의 경험(답변을 쓸 때 느낀 어려움, AI가 제공한 피드백이 도움이 된 정도와 행동으로 바로 옮길 수 있었던 정도, 실험 후 self-efficacy를 느낀 정도, 이 시스템에 대한 사용 의향)을 조사하였음. 또한 해당 참여자들이 작성한 공감적 답변 자체에 대해서도 human evaluation과 automatic evaluation을 이용해 평가를 진행함.
Human evaluation과 automatic evaluation에서 모두 AI가 피드백을 주는 조건에서의 답변이 더 공감적인 것으로 나타남. 또한 공감적 반응을 쓰는데 있어 어려움을 겪었던 사람과 온라인 peer support 플랫폼을 사용해본 경험이 없었던 사람들에게 HAILEY 접근법이 더 효과적이었던 것으로 나타남.
의의
특히 정신 건강 분야에선 AI가 사람을 대체하기 보단 보조하는 역할로써 사용되어야 한다는 의견이 강력함. 그와 관련된 하나의 접근법을 제시하는 논문이라고 생각함.
참고 문헌
Sharma, A., Lin, I. W., Miner, A. S., Atkins, D. C., & Althoff, T. (2023). Human–AI collaboration enables more empathic conversations in text-based peer-to-peer mental health support. Nature Machine Intelligence, 5(1), 46-57.
Topic 2: I’m Afraid of not succeeding in learning: introducing an instrument to measure higher education students’ fear of failure in learning [GK]
선정 이유
fear of failure in learning 척도를 만드는 논문. 실패에 관련해서 관심과 최근에 척도 개발을 연구실에서 공부하고 있어서 선정하였다.
내용 요약
이 논문은 대학생들이 학습에서 느끼는 실패에 대한 두려움을 측정하기 위한 도구를 소개한다. 연구의 목적은 학습에서의 실패에 대한 두려움을(Fear of Failure)정의하고, 이를 측정할 수 있는 신뢰성과 타당성을 갖춘 도구를 개발하는 것이었다.
연구는EFA와 CFA를 통해 도구의 신뢰성과 타당성을 검증했다. 결과적으로, 26개 문항으로 구성된 이 도구는 4가지 factor를 기반으로 (1. performance avoidance 2. Feeling of shame 3. Self-handicapping 4. Learned helplessness) 학습에서의 실패에 대한 두려움을 효율적으로 측정할 수 있는 도구임을 확인하였다.
이 도구는 학생들이 학습 과정에서 경험하는 다양한 두려움의 요소들을 잘 반영하며, 이는 학업 성취와 관련된 다양한 연구에 활용될 수 있다.
한계점(선택)
N/A
의의
Fear of Failure은 보통 shame/ anxiety in everyday life scale을 쓴다. 하지만 학습할때 실패의 두려움을 측정하는 척도는 없다.
비고
N/A
참고 문헌
Choi, B. (2021). I’m Afraid of not succeeding in learning: Introducing an instrument to measure higher education students’ fear of failure in learning. Studies in Higher Education, 46(11), 2107-2121.
Topic 3: BIDTrainer: An LLMs-driven Education Tool for Enhancing the Understanding and Reasoning in Bio-inspired Design [JL]
선정 이유
multidisciplinary 분야에서 질문 던지기를 통한 학습을 AI가 어떻게 도울 수 있을지, 이 과정에서 Hallucination 문제는 어떻게 대처해야 하는지 궁금하여 읽어보았음.
내용 요약
BID(Bio-inspired design) 분야는 여러 학문 분야에 걸쳐져 있어, 지식을 이해하고 추론하는데 많은 학습자들이 어려움을 겪음. 하지만 언제나 교수자의 도움을 받을 수 있는 것도 아님. 따라서 본 논문에서는 LLMs-driven BID education tool을 제안하였는데, 이를 통해 ‘learning by asking’을 통한 학습, 힌트 및 피드백 제공, 학습 결과 평가 등이 이뤄질 수 있도록 함.
본 교육도구는 세 가지 교육전략에 따라 작동됨. (1) BID understanding: 학습자와 LLM 간 ‘질문던지기(learning by asking)’가 일어나게 되면 LLM은 지식을 설명하는 역할을 함. (2) BID reasoning: 추론을 통해, biological solutions와 engineering application 간의 gap을 메울 수 있도록 함. (3) Learning Evaluation Strategy: 미리 제공한 기준 답을 바탕으로, ‘Challenge’, ‘Biological Model’, ‘Innovation Details’를 제공.
BID learning에는 세 가지 구성 요소가 있는데, source(생물 원리), benefits(advantages, features), application(design, solution)로 구성되어 있음. (1) Understanding 단계에서는 S, B, A가 모두 제시되며, 학습자는 이를 토대로 AI에게 질문을 던질 수 있음. 이 경우 질문의 깊이에 따라 답변의 한계가 있으므로, King의 ‘guided student-generated questioning strategy’를 이용하여 일반적인 질문 형식에 따라 학습자가 질문을 던질 수 있도록 유도함. (2) Reasoning 단계에서는 S&B만 제공됨. 이 단계에서도 학습자는 질문을 던지며 그 다음 단계에 어떤 것이 올 수 있을지 추론할 수 있도록 함. (3) 본 학습 과제는 매우 복잡하고 종합적이므로, Evaluation 단계에서는 LLM이 comparative evalutation strategy를 활용하여 평가할 수 있도록 함. 기준이 되는 답이 structured forms를 통해 제공되므로, LLM evaluation은 더욱 정확하고 실제 교수자와 비슷한 채점을 할 수 있게 된다. 피드백은 C-B-I로 제공.
실험 집단은 BIDTrainer을 사용, 통제 집단은 통상적으로 BID 학습에 많이 사용되는 웹사이트(AskNature, Google 등)를 이용해서 unguided 상태로 탐색. Understanding에 대한 평가는 퀴즈를 보는 것으로, Reasoning에 대한 평가는 관련 분야 전문가의 평가로, Evaluation에 대한 평가는 전문가의 평가와 본 학습도구가 만든 평가를 비교함으로서 평가함.
Understanding, Reasoning에서 실험 집단이 더욱 높은 점수를 보였고, 본 학습도구가 만들어낸 평가는 전문가의 평가와 consistent하였음.
추가적으로, Hallucination 관련하여서는 관련 분야 박사를 4명 초빙하여 본 학습도구가 만들어낸 답변을 평가하도록 함. 대부분 높은 수준의 옳은 답변을 한 것으로 보였으나, ‘biology & engineering’분야에서 다소 낮은 Facutal Correctness가 나타남. 따라서 본 학습 도구를 사용하기 전에 학습자에게 hallucination의 가능성에 대해 고지함.
한계점(선택)
(3) Evaluation 단계에서 기준이 되는 benchmark 답을 제시한다고 LLM이 실제 사람과 같은 평가를 할 수 있을지 의문임. 관련하여 더욱 자세한 과정이 기술되었으면 이해하기 쉬웠을 것 같음. 또한, Biology&Engineering 분야에서 hallucination이 나타난다는 것은 결국 학제적인 분야는 LLM으로 학습을 보조하기에 여전히 한계가 있다는 건 아닐까 하는 우려가 듦.
의의
교수자가 없는 상황에서도 본 교육도구를 통해 학습자는 탐색적 학습을 할 수 있을 것이며(human-LLM collaboration), 원격으로 학습에 참여하는 상황에서도 본 도구를 통해 다양한 전문가, 동료 학생들과 협력할 수 있을 것.
참고 문헌
Chen, L., Jiang, Z., Xia, D., Cai, Z., Sun, L., Childs, P., & Zuo, H. (2024, May). BIDTrainer: An LLMs-driven Education Tool for Enhancing the Understanding and Reasoning in Bio-inspired Design. In Proceedings of the CHI Conference on Human Factors in Computing Systems (pp. 1-20).