sji

가끔 프론트 애플리케이션을 https 페이지에서 테스트하게 될 때가 있는데, https 페이지에선 보안상의 이유로 https 통신을 지원하지 않는 api 서버에 요청을 보낼 수 없다. 따라서 애플리케이션 서버를 https 지원되는 서버에 띄워서.. https 웹서버로 요청을 받은 다음, 특정 포트에 임시로 띄워놓은 서버 애플리케이션으로 리다이렉트를 해줘야 한다. 더 나은 방법이 있을 수 있지만, 내가 주로 쓰는 방법은 다음과 같다. 애플리케이션 서버가 EC2에서 동작할 때 (ex. express application running on port 8080) 다음과 같은 순서로 작업을 진행... ec2에 nginx 설치 route53을 통해 도메인 연결 (없으면 가비아에서 구매) 도메인 연결 후 certbo..

기존 글에도 정리를 해왔지만, 기술 면접 준비하면서 정리 했던 것들 몇 가지 보충해서 정리해봤다. 틀린 내용이 있을 수 있으니 의심하면서 보길... Backpropagation 계산법 (이상한 곳에서는 간단한 계산 시킬 수도...) 로컬 그래디언트에 업스트림 그래디언트를 곱해줌으로써 구하는 것을 기본 원칙으로 계산 하면 된다 Regression vs. Classification 확률적인 관점에서 설명할 줄 알면 든든... 가정하는 분포가 뭔지 (이산? 연속? / 베르누이? 가우시안?) 가정 분포에 따라 Loss는 어떻게 달라지는지... Sigmoid 쓰는 이유? In order to map predicted value to probability a는 sigmoid의 기울기를 결정, b는 중심 위치를 결정..

얼마 전 종료 되었던 Shoppe - Price Match Guarantee 대회 비록 뒤늦게 참여해서 아쉽게 메달은 획득하지 못했지만, 짧은 기간 동안 즐겁게 팀플레이를 할 수 있었던 대회였다. 상품 이미지와 제목이 주어졌을 때 유사한 제품 id를 찾는 멀티모달리티를 이용한 대회였다. 탑솔루션이 몇 개 공개되어, 상위권 사람들이 보여준 핵심 아이디어 몇 가지를 정리해보았다. 1등 솔루션 (한국인 yoonsoo님, from embeddings to matches) https://www.kaggle.com/c/shopee-product-matching/discussion/238136 eca_nfnet_l1, xlm-roberta-large, xlm-roberta-base, bert-base-indonesi..

유사도 판단을 위한 임베딩을 얻기 위해 pretrained model을 가져다 fine-tuning을 통해 태스크에 좀 더 적합한 임베딩을 만들기 위해서 Arcface Loss를 학습을 했는데, 학습 후에 모든 입력에 대해 동일한 출력을 내는 기이한 현상을 겪었다. Loss는 줄어드는 것을 보고 학습은 되고 있는게 아닌가 싶었는데... 아래 글에서 힌트를 얻어 확인해보니, 결국 Learning Rate이 너무 높은게 문제였다. 아마 이 때, ArcFace에 속한 FC Layer에 높은 LR을 부여하다가, 너무 큰 LR을 할당해버리는 바람에 학습이 이상하게 된 듯 싶다. https://discuss.pytorch.org/t/outputs-from-a-simple-dnn-are-always-the-same-..

arxiv.org/pdf/2006.05525.pdf 모델 경량화 방법인 Knowledge Distillation (이하 KD) 서베이 논문. KD가 무엇으로 구성되고 어떻게 학습이 이루어지는지에 관한 것들을 정리해보고자 한다. 딥러닝 모델을 한정된 자원을 가진 모바일 디바이스로 배포하고 싶다면 모델의 경량화는 필수다. 이 때 KD를 이용하면 모델을 압축시킬 수 있을 뿐만 아니라 추론 속도도 가속시킬 수 있다. 딥러닝 기반의 실서비스를 구성할 때도 모델 경량화기법이 유용하게 활용될 수 있다. 모델 Compression / Acceleration 방법 Parameter Pruning / Sharing Low-rank factorization Knowledge Distillation 등등 Knowledge D..

모델 학습이 잘 진행되는지 parameter norm과 gradient norm을 활용할 수 있다. (김기현님 강의를 보다가 알게 됨...) 일반적으로(?) parameter norm(L2)은 학습이 진행될 수록 커져야 한다. 모델이 복잡해 지면서... gradient norm(L2)는 점점 작아져야 한다. grad norm이 크다? 그 만큼 많이 배우고 있다는 뜻. 학습이 진행되면서 점점 작아진다. 학습 초반일 수록 틀리는 것이 많고, 많이 틀릴 수록 기울기가 가팔라짐. @torch.no_grad() def get_grad_norm(parameters, norm_type=2): parameters = list(filter(lambda p: p.grad is not None, parameters)) to..

유사 이미지, 유사 텍스트를 찾는 태스크를 건들여보고 있는데, 이 때 입력을 잘 표현하는 임베딩을 학습하는 방법이 필요했다. (클러스터링에 활용할...) arcface에 대해선 이전에 들어보기는 했지만, 실제로 어떻게 동작하는지도 잘 모르겠고 뭐, 대충 메트릭 러닝이라곤 들었는데, 메트릭 러닝이라고 하면 유일하게 들어 본 것이 triplet loss 정도...? 였다. 아는게 triplet loss이다 보니, arcface도 비슷하게 동작/구현 되지 않을까? 라는 편견에 사로 잡혀 코드를 이해하는데 한참 걸렸다. 아래 코드를 보면 알겠지만, triplet loss처럼 입력으로 여러 비교 대상(anchor, positive, negative)이 들어오지 않고 단일 입력(+정답 라벨)을 기대하기 때문이다. ..

arxiv.org/abs/1910.01108 DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter As Transfer Learning from large-scale pre-trained models becomes more prevalent in Natural Language Processing (NLP), operating these large models in on-the-edge and/or under constrained computational training or inference budgets remains challenging. In t arxiv.org Knowledge Distillation에 대해 훑..