Engineering blog
종종 개인적으로 궁금한 것들이 있을 때 실험을 해보는데, 각각 데이터셋을 불러오는 코드를 작성하니 너무 파편화되어 있기도 하고 찾아오기도 힘들어서 한국어/한글 관련 데이터셋 라이브러리를 하나 만들기로 했다.
PTED 보면서 내용 + 신기한 것들 메모. 부스 형식으로 운영되어서 내가 Gather Town에서 돌아다니는 형식이었고 이야기도 많이 나눌 수 있어서 좋았다.
그냥 제목이 재밌어 보여서 읽어보았고, 생각보다 신기했다. Transformer Architecture를 더 잘 활용하기 위해서 더 많은 인사이트가 필요할 것이라 생각하는데, 그를 위해서 읽어본 논문이다.
SentencePiece 기존 모델을 유지하면서 사용할 일이 있어서 해봤다.
2강이고 Multi-Task & Meta-Learning Basics이다.
얼마전 페이스북에서 Multi-task and Meta Learning 이라는 제목을 달고있는 Stanford CS330을 달고 있는 강의를 보아서 들어보기로 했다. 14개 정도의 강의라 배속으로 적당히 빨리 들어봐야겠다.
얼마전 tensorflow/community/pull/346을 보면서 놀란 점이 있다. 바로 tf.nn.sparse_softmax_cross_entropy_with_logits, tf.nn.softmax_cross_entropy_with_logits 연산이 non-deterministic하다는 것인데, 수식상으로 생각해볼때 저 Ops들이 그렇다는 것을 알기 힘들었다. 매우 자주 사용하는 Op들이고,
얼마전에 읽어봤었던 논문인데 활용할 필요성이 생겨 리뷰해보았다. Google Research 쪽에서 작성한 논문으로 보이고, 아직 preprint 상태이다. arxiv 링크는 https://arxiv.org/pdf/2010.03802.pdf. 간단하게 진행하는 논문 리뷰에서 할 예정이라 pdf로 작성했다.
최근 모델 학습을 진행하면서 필요 이상으로 메모리를 많이 먹는 느낌이 있어 프로파일링을 해보았다. TensorBoard profile 기능의 memory_profile을 보다보니 SparseCategoricalCrossentropy와 softmax가 굉장히 많은 메모리를 먹고 있었다.
TensorFlow Everywhere Korea(festa, fb) 에서 발표한 “편리한 NLP를 위한 TensorFlow-Text와 RaggedTensor”를 준비하면서 작성한 포스트입니다.
leetcode를 풀다가 중복제거에 사용할 수 있는 STL 함수가 없을까 찾아보았는데, std::unique가 있었다. 근데 동작이 잘 이해가 안가서 찾아보았다.
Building Machine Learning Pipelines를 최근 읽고 있는데, 해당 책에서 말하는 논문이었고, 읽어보면 좋을 것 같아 읽어보았다. 논문 링크는 여기이다.
핑퐁팀 블로그의 하나의 조직에서 TensorFlow와 PyTorch 동시 활용하기에 올라간 글입니다. 제가 작성한 글이기 때문에 이 블로그에 아카이브합니다.
if(kakao)2020 세션을 들으면서 좋았던 세션들이나 나중에 다시 볼 세션 아카이빙 용도로 정리해보았다. 개인적으로는 세션 영상을 잘 녹화해주어서 정말 감사하지만 발표 자료가 같이 링크되어 있었다면 훨씬 좋지 않았을까 싶다.