sji

논문 링크 ; arxiv.org/pdf/2002.07033.pdf 지금 참여 중인 Kaggle Competition이다. Riiid! Answer Correctness Prediction Track knowledge states of 1M+ students in the wild www.kaggle.com SANTA 앱에서 축적된 유저의 학습 데이터를 가지고, Knowledge Tracing을 하는 대회이고, 유저의 응답 history가 주어졌을 때 다음으로 주어지는 문제를 맞출 확률이 얼마나 되는지 계산해야 한다. 관련 논문을 훑다가, riiid에서 구현한 모델이 있어서 보니 트랜스포머를 사용하고 있었는데, 주어진 데이터를 트랜스포머에 어떻게 입력을 한 것인지 궁금해서 보게 되었다. Knowledge T..

논문 링크 ; www.cs.cmu.edu/~rsalakhu/papers/oneshot1.pdf (링크 클릭이 안되는 경우 제목으로 검색) 이전에 Extrative Summarization as Text Matching 논문에서 siamese-BERT 아키텍쳐가 제안되었는데, siamese-network가 무엇인지 궁금해서 관련 논문을 찾아보았다. One-shot Image Recognition 딥러닝을 이용해서 특정 태스크의 문제를 해결하기 위한 좋은 피쳐, 표현을 얻기 위해선 양질의 데이터와 비싼 컴퓨팅 자원이 필요하다. 하지만, 사람은 조금 과장해서 A가 그려진 단 한장의 이미지만을 보고도 A의 변형에 대해서 같은 것임을 분류해 낼 수 있다. 여기서, One-shot Image Recognition ..

주키퍼 서버 구조 주키퍼 서비스를 구성하는 각 서버는 Request Processor를 제외한 각 컴포넌트의 복사본을 복제한다. 그림의 Replicated Database는 in-memory DB이며, 전체 데이터 트리를 가지고 있다. - Update의 경우엔 복구를 위해 로깅 되며, - Write의 경우엔 디스크에 serialized 되어 저장된다. 각 주키퍼 서버는 클라이언트에게 서비스를 할 수 있다. - 클라이언트는 정확히 한 대의 서버로만 요청을 보내고, - 요청 받은 서버는 로컬 레플리카 데이터베이스로 부터 요청을 서비스한다. 서비스의 상태를 변경하는 요청이 발생하는 경우 Agreement Protocol에 의해 처리 된다. * Agreement Protocol ; 모든 쓰기 요청을 '리더'를 ..

'하둡완벽가이드(한빛미디어)' 및 아래 링크 글을 참조하여 정리해보았다. 분산 코디네이터 Zookeeper(주키퍼) 소개 ZooKeeper란 무엇인가? 조대협 (http://bcho.tistory.com) 소개 분산 시스템을 설계 하다보면, 가장 문제점 중의 하나가 분산된 시스템간의 정보를 어떻게 공유할것이고, 클러스터에 있는 서버들의 상태를 bcho.tistory.com

회사에서 이미지 검색 시스템을 구축할 때 분산 메시지 플랫폼으로 카프카를 이용하였는데, 카프카 클러스터의 코디네이션 시스템인 zookeeper를 먼저 구축해야했다. 잊기 전에 주키퍼 앙상블의 구축 방법을 간략히 정리하고, 주키퍼의 컨셉에 대해서 정리해 놓자. '카프카, 데이터 플랫폼의 최강자' 설치법 부분을 많이 참고하였다. 정말 좋은 책! 서버 세팅 (3 대) OS ; centOS 7.4 MEM ; 8GB SWAP ; 8GB Partition ; - SAS 1TB * 2 (raid 1) - / ; sda1 (100G, OS) - /data ; sda3 (나머지 몰아 줌, log 용) - /SAS 2TB * 2 ( /data1, /data2) 주키퍼 설치법 cd /usr/local wget http://..

https://leetcode.com/problems/reverse-substrings-between-each-pair-of-parentheses/ Reverse Substrings Between Each Pair of Parentheses - LeetCode Level up your coding skills and quickly land a job. This is the best place to expand your knowledge and get prepared for your next interview. leetcode.com 부분 부분 서브스트링이 소괄호로 감싸져있는데, 가장 안쪽 스트링 부터 reverse 시키면서 소괄호를 벗기는 문제 계산하기 편하도록 쪼갠 뒤, stack을 이용해서 넣으며, ..

one-shot learning에 대한 좋은 설명 블로그가 있는데, 평소에 말이 많은 사람인지, 본론이 시작되기 전에 서론을 지나치게 길게 써놔서 번역하여 중요 부분만 간략히 정리해본다. One Shot Learning and Siamese Networks in Keras [Epistemic status: I have no formal training in machine learning or statistics so some of this might be wrong/misleading, but I’ve tried my best.] sorenbouma.github.io 뉴럴넷을 이용하면 고차원의 데이터에 대해 좋은 퍼포먼스를 보인다. 하지만, 일반적으로는 학습데이터가 클 때만 해당되는 말이다. 반면 사람은..

논문 링크 ; arxiv.org/pdf/2004.08795v1.pdf 현재 CNN/DM 데이터 셋에 대해서 SOTA를 찍고 있는 모델을 다룬 논문이다. 이전의 뉴럴넷 기반의 추출식 요약 모델은 각 문장 간의 관계를 모델링해서 문장을 추출하는 방식으로 구현이 되어 왔다. (각 문장에 스코어를 매기고, 정렬하여 추출) 본 논문에선 추출식 요약 태스크를 "Semantic text matching" 문제로 해석하여 접근하였다. 문서와, 문서에서 추출된 후보 요약문들을 semantic space 상에서 매칭 시키는 방식으로 기존 접근 방식에서의 paradigm shift라고 표현하고 있다. "Matching-based Summarization Framework" github.com/maszhongming/Matc..