Apr 15th Journal Club

Themes: Social Norms for AI, AI Dataset

Presenters: JP (Jae Eun Park)

Topic 1: Social Norms for AI, AI Dataset [JP]

선정 이유

인공지능이 social, moral norm을 학습할 수 있도록 하는 데이터셋 구축 과정이 흥미로워서 선정함

내용 요약

• 크라우드소싱을 통해 일상생활 속 상황 판단에 쓰이는 사회도덕적 규범(‘rules of thumb’)으로 이루어진 Social-Chem-101 데이터셋을 구성. 일상 속 상황을 나타내는 문장 약 10만 개에 대하여 관련된 사회규범을 담은 문장 29만 개를 작성.
  
• 각 상황에 대해 관련된 1개~5개의 사회도덕 규범(예: 시험에서 다른 사람의 답안을 커닝하면 안 된다)을 작성하고, 각 규범에 대해 social judgment(good/bad), moral foundations, expected cultural pressure, legality, 규범에 대한 anticipated agreement 등 12가지 차원의 특성 정보를 태깅
  
• 새로운 상황정보가 주어졌을 때 관련된 사회규범을 생성하는 트랜스포머 모델을 구축, 생성된 사회규범이 상황에 적합한지 평가하도록 한 경우 테스트한 모델 중 T5가 3점 중 약 2.7점 정도의 점수로 가장 좋은 성능을 보였음. 하지만 생성된 규범이 관련 특성을 잘 반영하는지 사람으로 하여금 평가하도록 했을 때 각 특성에 대한 micro-F1 score가 0.28에서 0.91로 일관되지 못한 성능을 보임.
  

장단점

장점: 크라우드소싱을 통해 작업자들이 bottom-up으로 social norm을 생성하게 함. 생성된 social norm에 다양한 관련 정보를 태깅함

단점: 모델의 성능이 크게 좋지는 않은 듯함. 한 situation에 대해서 생성한 social norm 중 지켜야할 우선순위가 있을 텐데, 본 논문에서 이러한 점을 반영하고 있지는 않음.

의의

인공지능과의 사회규범 학습을 위한 데이터셋을 구축, 이를 위한 구체적인 가이드라인을 제시함

비고

maxwellforbes.com/social-chemistry

참고 문헌

• Forbes, M., Hwang, J. D., Shwartz, V., Sap, M., & Choi, Y. (2020). Social chemistry 101: Learning to reason about social and moral norms. arXiv preprint arXiv:2011.00620.