on
Oct 20th Journal Club
Themes: text generation, intrinsic motivation, curious robot
Presenters: YK (Yoon Kyung Lee), MS (Minjung Shin), YP (Yong-Ha Park)
Topic 1: Transformer (5): Text Generation [YK]
Colab Link:
https://colab.research.google.com/drive/1LymkhY08QEy7amN8PlkRpuVnzy-fi_5q?usp=sharing
Topic 2: Infant-inspired intrinsically motivated curious robots [MS]
선정 이유
호기심은 정보 습득을 목표로 하는 지적 정서의 일종으로, 내적 보상을 기반으로 한다는 특징이 있다. 그리고 호기심 기반 학습의 가장 좋은 모델은 인간 영유아이다. 기존의 task-oriented robot 에서 벗어나 스스로 학습이 가능하고 사회적 상호작용이 가능한 로봇을 구상하는 단계에서 실세계 적응 학습의 효율을 높이는 전략으로 “호기심”이 유용하겠으나, 내적 보상을 제시한다는 점이 접근을 어렵게 한다. 그럼에도 불구하고 아이들의 호기심을 닮은 모델을 만들고자 시도하는 연구들이 있어 살펴보고자 한다.
내용 요약
호기심을 정의하는 다양한 방법 중 저자들이 선택한 정의는 ‘The intrinsic drive to learn as much as possible and the accompanying behavior 가능한 한 많은 것을 배우려는 본질적인 추진력과 그에 따른 행동’이다.
일반적으로 로봇에 호기심을 적용하는 패러다임은 “(탐색 또는 로봇 스스로의 행동이 가져오는 결과를) 학습 -> 내적 보상 -> 행동 선택”으로 요약할 수 있고, 내적 보상을 극대화하기 위한 행동을 선택했는지의 여부를 통해 학습의 진전을 측정한다.
이것은 정해진 task를 달성했는지의 여부로 점수를 매기는 기존의 방식과는 사뭇 다르고, 특히 내적 보상을 정의하는 방식에 따라 매우 다양한 접근이 이루어지고 있다.
Curious robot의 상호작용 단계는 복잡도에 따라 계층적으로 이루어지는데, 우선 “자기 자신에 대한 이해 -> 자신이 처한 환경에 대한 매핑 -> 환경 안의 객체에 대한 인식과 상호작용 -> 그리고 다른 에이전트와 사회적인 관계를 맺는 수준”으로 이어진다.
최근 몇 년 동안 curious robot 개발의 주요 성과는 사전에 프로그래밍 될 수 없는, 그리고 유아들의 학습 진행 과정과 유사한 양상의 복잡한 새로운 행동들을 보여준다.
한계점
여러 그룹에서 시뮬레이션이나 체화된 로봇들로 개방형 학습에서 성과를 거두고 있지만, 자체 탐색에서 환경 매핑, 객체 조작 및 사회적 상호 작용까지 전체 계층을 아우르는 단일 통합 프레임워크는 부족하다. 또한 대부분의 연구가 실험실을 벗어나지 못하고 있다는 점 또한 한계점으로 지적된다.
의의
- 로봇이 일반적인 컴퓨터 프로그램과 다른 점은 환경과 물리적 상호작용을 한다는 점이다. 인간다운 로봇이라는 먼 주제까지 가지 않더라도, 스스로 탐색하여 불확실성을 줄이는 능력은 가정에 도입된 로봇 청소기에게도 필요한 능력이 되었다.
- Curious robot 연구의 주요 과제는 end-to-end fully autonomous 호기심 기반 계층적 학습 모델의 통합과 개방형, 사회적 시나리오 하에서 탐색하는 실제 로봇의 구현이다.
- Curious robot 의 개발은 robot Engineering 을 중심으로 새로운 형태의 기계학습을 구현하는 컴퓨터 사이언스와 발달심리 및 신경과학의 긴밀한 학제적 연구가 필요하다.
참고 문헌
- Gordon, G. (2020). Infant-inspired intrinsically motivated curious robots. Current Opinion in Behavioral Sciences, 35, 28-34.
- https://doi.org/10.1016/j.cobeha.2020.05.010
Topic 3: Unity Workshop 2 [YP]
튜토리얼 내용
- Sprite 제작 및 배치
- 부한 줄익 (atlas의 개념 설명)
- 애니메이션의 제작 및 동작 (셀 애니메이션 방식 설명)
- 떨어지는 물체와 탄성 (2-D 물리엔진 설명)
내용 요약
- 유니티의 구성 요소에 대한 개념을 배우고 응용을 위한 기반이 될 수 있도록 설명드릴 예정입니다. (이미지의 배치 순서 조정 및 아틀라스를 통한 최적화)
- 유니티를 통해서 할 수 있는 다양한 작업 중 초보자들도 쉽게 접하고 다룰수 있는 픽셀아트 (도트) 이미지를 가지고 유니티의 기본 구성과 각 오브젝트의 구성을 설명드릴 예정입니다.
- 유니티를 통해서 작동하는 셀 애니메이션 방식을 직접 보여드리고 설명드릴 예정입니다.
한계점
유니티의 개념이 익숙하시지 않은 만큼 현재 단계에서 연구에 유용하게 사용하실 수 있는 내용을 다루기는 힘들 것으로 예상합니다. 오늘 배우시는 내용을 기반으로 추후 더 많은 연습이 필요합니다.
의의
유니티는 게임 엔진이지만, 이제 게임 엔진이 오직 게임 제조를 위해서만 사용되는 때는 지났습니다. 현재 영화, 애니메이션, 시뮬레이션, 모델링, 심지어는 강화 학습 등에까지 응용이 되는 만큼 유니티의 사용 방법을 아는 것은 이후에 어떤 작업을 하더라도 응용이 가능한 기반이 되어줄 것입니다. 연구도 그 예외는 아니라고 생각하는 만큼, 이번 워크샵을 통해 유니티에 대한 관심과 흥미를 얻으시면 좋겠습니다.
비고
오늘 다룬 내용을 정리해놓은 다큐먼트 입니다 https://docs.google.com/document/d/1IzQ85vy7AG4DZZh5uEqvbYj-dADdUcFogyE74hbf93Y/edit?usp=sharing
참고 문헌
기반 강좌 영상
- https://youtu.be/v_Y5FH_tCpc
강좌에 사용한 asset 자료 (직접 실습 가능)
- https://assetstore.unity.com/packages/2d/characters/simple-2d-platformer-assets-pack-188518