Nov 30th Journal Club

Themes: Contextual Word Representations, ELMo, Transformer, Classifying loneliness level

Presenters: JP (Jaeun Park), YWJ (Yoonwon Jung)

Topic 1: Contextual Word Representations, ELMo, Transformer [JP]

선정 이유: contextual word representation의 등장 배경에 대해 더 알아보기 위하여 선정하였다.

내용 요약
Word2vec이나 GloVe 등으로 단어를 dense representation으로 나타내는 것이 가능해졌으나, 이러한 종류의 word embedding에는 한계점이 있다. 다의어가 갖고 있는 여러 가지 의미를 구분해서 표현하는 것이 불가능하며, 단어의 여러 의미적, 문법적 차원을 나타내기 어렵다. 단어가 갖고 있는 여러 의미를 구분하고자 해도 문맥에 따라 조금씩 그 정확한 의미가 다를 수 있기 때문에 문맥 속에서 단어의 의미를 파악하는 것이 좋다. 문맥 속 단어 의미를 표상하기 위한 방법을 찾기 위해 neural language model에서 힌트를 얻을 수 있다. RNN을 사용한 언어모델에서 hidden state는 이전까지의 문맥 정보를 포함한 word embedding을 나타낸다. TagLM과 ELMo에서는 이에 착안하여 2-layer bi-LSTM language model에서 나온 hidden state 정보를 일종의 contextual word representation으로 다른 supervised task에 input의 하나로 사용한다.
ULMfit이라는 모델에서는 transfer learning의 개념을 사용했다. 여기서는 ELMo에서처럼 다른 language model의 hidden state를 아예 다른 모델에 가져와서 사용한 것이 아니라, 하나의 모델을 fine-tuning한 후 원하는 task에 맞게 final layer의 objective를 바꾸는 방식을 사용했다. 이후 나온 GPT, BERT 등 transformer 계열의 모델들 역시 마찬가지로 같은 모델에서 fine-tuning해서 final layer의 objective를 바꾸는 방식을 사용한다. 또한 transformer 모델은 이전과 달리 LSTM 언어모델을 사용한 것이 아닌, attention을 사용한 병렬처리를 채택하여 더욱 좋은 성능을 내었다.

의의: contextual word embedding을 통해서 문맥정보를 더 잘 반영하는 representation이 가능해짐. contextual word embedding을 다른 task에 사용할 때 pre-trained embedding을 가져다 쓰는 방법도 있으나, 모델 자체를 가져다 fine-tuning을 하고, task objective를 바꾸는 방식을 채택할 수 있음.

 Peters, M. E., Neumann, M., Iyyer, M., Gardner, M., Clark, C., Lee, K., & Zettlemoyer, L. (2018). Deep contextualized word representations. arXiv preprint arXiv:1802.05365.

Topic 2: Classifying loneliness level [YWJ]

선정이유: 머신 러닝을 사용해서 외로움을 예측한 연구들을 공부하는 과정에서 선정하였다.

내용요약
이 논문은 스마트폰 앱을 통해 자동으로 수집되는 정보들과 Big5성격 특질 점수들 중 외로움과 유의미한 관계가 있는 feature들을 뽑아서 외로움 수준을 예측하는 classifier을 만들었다. Feature extraction방식으로는 CFS(Correlation-based feature selection)를 사용했고, 그렇게 추출된 feature들은 다음과 같다: 스마트폰으로부터 수집된 feature는 메시지의 개수, 통화 횟수, 늦은 밤 시간 검색 횟수, 문자 발신횟수와 수신횟수의 차이, 통화 발신횟수와 수신횟수의 차이, 그리고 부재중 전화의 비율이 있었고, 성격 특질 중에는 외향성과 신경성이 있었다. 이렇게 추출된 feature들을 이용해 classifier을 학습시켰는데, 성격 특질 feature들을 포함시켰을 때가 포함시키지 않았을 때보다 classifying accuracy가 8% 상승하였다..

장단점: 많은 연구들이 노인을 연구 타깃 집단으로 삼은 것과 달리 20대 중후반의 외국인 학생들을 대상으로 연구한 것이 장점이다. 그러나 참여자 수가 9명으로 다소 적어 충분한 training data를 확보한 것으로 보기는 어렵다는 한계가 있다. 또한 외로움 수준 cutoff point를 UCLA외로움 척도가 제시하는 low,moderate,high 기준과 다르게, 다소 임의적인 세 수준으로 설정하여 분류 기준 자체에 한계가 있는 것으로 보인다.

의의: 선행 연구들에서 외로움 수준을 예측하기 위해 사용된 feature들의 목록에 인터넷과 소셜 미디어 feature들을 추가함으로써 feature의 목록을 확장시켰고, 성격 특질이 외로움 예측에 가지는 효과를 수치로 확인하였다. 이러한 classifier가 적용된 기술은 caregiver들에게 early warning system으로서 도움을 줄 수 있다.

 Pulekar, G., & Agu, E. (2016, November). Autonomously sensing loneliness and its interactions with personality traits using smartphones. In 2016 IEEE Healthcare Innovation Point-Of-Care Technologies Conference (HI-POCT) (pp. 134-137). IEEE.