아래처럼 변경해서 쓸 수 있다.

Unity ML Agents라는 것을 보고 3D Balance Ball 예제를 돌려보았다.

• CS224W
• Youtube link

• CS224W
• Youtube link

ML Community Day 들으면서 신기한 것들만 정리

• CS224W
• Youtube link

• CS224W
• Youtube link

얼마전에, Geotrend-research/smaller-transformers라는 레포지토리를 우연히 보게 되어서 최근에 관심이 가는 LaBSE(Language-agnostic BERT Sentence Embedding)에 적용해보았다.

제목이 관심이 가서 본 논문(Do Vision Transformers See Like Convolutional Neural Networks?)에서 던진 핵심 질문이다.

TFX를 아직 1.0으로 안올리고 있다가, 컴포넌트가 조금 많이 추가되니 InternalServerError: Failed to create a workflow for (): etcdserver: request is too large 라는 에러가 떠서 관련 버그를 찾아보았다.

TFX를 사용하면서 가끔 빠르게 실험해보고 싶은 것이 생길경우 간단한 스크립트 성으로 코드를 작성하는데, 그때 유용한 팁정도이다.

TensorFlow에서 Mixed Precision Training 할 때, Model.compile을 직접 수정하여 사용하다보면 Loss Scaling이 제대로 되지 않을때가 있다.

얼마전에 GitHub explore reposistories 탭에서 SimCSE라는 레포지토리를 발견해서 논문을 간단하게 보았다. Contrastive Learning 할 때 다른 dropout을 적용한 자신을 positive pair로, 배치 내부의 다른 인스턴스를 negative pair로 사용하는 방법인데, “이게...

https://github.com/facebookresearch/dino에서 볼 수 있듯 DINO가 Self supervised learning만으로도 굉장히 신기한 Self Attention 결과가 나오길래 CLIP으로도 해보고 싶어서 해봤다.

종종 개인적으로 궁금한 것들이 있을 때 실험을 해보는데, 각각 데이터셋을 불러오는 코드를 작성하니 너무 파편화되어 있기도 하고 찾아오기도 힘들어서 한국어/한글 관련 데이터셋 라이브러리를 하나 만들기로 했다.