sji

논문 링크 ; arxiv.org/pdf/2004.08795v1.pdf 현재 CNN/DM 데이터 셋에 대해서 SOTA를 찍고 있는 모델을 다룬 논문이다. 이전의 뉴럴넷 기반의 추출식 요약 모델은 각 문장 간의 관계를 모델링해서 문장을 추출하는 방식으로 구현이 되어 왔다. (각 문장에 스코어를 매기고, 정렬하여 추출) 본 논문에선 추출식 요약 태스크를 "Semantic text matching" 문제로 해석하여 접근하였다. 문서와, 문서에서 추출된 후보 요약문들을 semantic space 상에서 매칭 시키는 방식으로 기존 접근 방식에서의 paradigm shift라고 표현하고 있다. "Matching-based Summarization Framework" github.com/maszhongming/Matc..

논문 링크 ; arxiv.org/pdf/1908.08345.pdf BERT를 이용해서 문서 요약(extractive, abstractive 방식)이 가능한 프레임워크를 제안한 논문. 현재 회사에서 하고 있는 일이 뉴스를 extrative 방식으로 요약하는 것이므로 extractive 부분에 집중해서 정리해보자. 본 논문에선 문장에 대한 표현을 만들어주는 BERT를 기반으로 document-level encoder를 제안했다. BERT의 인코더 위에 몇 개의 inter-sentence 트랜스포머 레이어를 추가하는 식으로 구현이 되었다. (문장 추출을 위한 document-level의 피쳐를 뽑기 위함) 19년 발표 당시에 CNN/DailyMail dataset에 대해 SOTA를 찍은 논문. 약 30만개로 ..