밀리의 서재 구독후에 읽은 첫 책. 쭉쭉 읽어볼 수 있는 포맷으로 보여서 훑어보았다. 이 포스트는 다음에도 참고하고 싶은 내용과 후기에 관한 글이다.

얼마전에 TensorFlow KR에 DistilKoBERT 기반의 문장 임베딩 모델을 만들어 공유했다. Knowledge Distillation을 활용해서 KorNLI, KorSTS를 학습한 모델이고 TensorFlow Hub에서 바로 사용할 수 있도록 구성해두었다.

GitHub codespaces에서 dev container를 세팅해보았다. Codespaces를 별로 사용해보지 않아서, 우선 블로그 레포지토리를 기준으로 세팅해봤다.

아래처럼 변경해서 쓸 수 있다.

Unity ML Agents라는 것을 보고 3D Balance Ball 예제를 돌려보았다.

• CS224W
• Youtube link

• CS224W
• Youtube link

ML Community Day 들으면서 신기한 것들만 정리

• CS224W
• Youtube link

• CS224W
• Youtube link

얼마전에, Geotrend-research/smaller-transformers라는 레포지토리를 우연히 보게 되어서 최근에 관심이 가는 LaBSE(Language-agnostic BERT Sentence Embedding)에 적용해보았다.

제목이 관심이 가서 본 논문(Do Vision Transformers See Like Convolutional Neural Networks?)에서 던진 핵심 질문이다.

TFX를 아직 1.0으로 안올리고 있다가, 컴포넌트가 조금 많이 추가되니 InternalServerError: Failed to create a workflow for (): etcdserver: request is too large 라는 에러가 떠서 관련 버그를 찾아보았다.

TFX를 사용하면서 가끔 빠르게 실험해보고 싶은 것이 생길경우 간단한 스크립트 성으로 코드를 작성하는데, 그때 유용한 팁정도이다.

TensorFlow에서 Mixed Precision Training 할 때, Model.compile을 직접 수정하여 사용하다보면 Loss Scaling이 제대로 되지 않을때가 있다.