아래는 TensorFlow를 사용하다보면 자주 볼 수 있는 경고 메시지이다. CPU가 AVX2, AVX512F, FMA를 지원하지만 해당 extension들을 사용하도록 빌드되지 않았다는 메시지인데, 이런 메시지는 tensorflow/serving에도 똑같이 적용된다. 그래서 “빨라지면 얼마나 빨라질까?”하고 테스트해보았다.

핑퐁팀 블로그에 올라간 글입니다. 직접 작성한 글이기 때문에 이 블로그에 아카이브합니다.

transformers.zip: Compressing Transformers with Pruning and Quantization이라는 논문인데, url을 보니까 cs224n reports인 듯 싶다.. https://github.com/robeld/ERNIE로 가면 소스코드를 확인할 수 있다.

최근 회사에서의 업무 때문에 논문을 많이 찾아보게 되었는데, 그리 되어서 어쨌든 ALBERT도 읽었으니 정리. 귀찮은 부분은 건너뛴다. 논문은 ALBERT: A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS이다. Google...

RoBERTa: A Robustly Optimized BERT Pretraining Approach라는 이름으로 Facebook AI와 UW에서 같이 낸 논문이다. 이번에도 그냥 정리하고 싶은 부분만 정리.

오늘은 huggingface가 huggingface/transformers 레포지토리에 자체적으로 공개한 모델인 DistilBert를 읽고 정리해본다. 다른 정리처럼 한번 읽고 말 부분은 다 제외한다.

GPT에 이어서 GPT2 논문 (Language Models are Unsupervised Multitask Learners)도 간단하게 읽어보았다. 역시 정리하기에 귀찮은 부분은 다 건너뛴다.

TorchScript 사용법을 체크해보면서, PyTorch C++ FrontEnd 환경을 구성해볼 필요가 있었는데, 맥 환경에서는 생각보다 쉽게는 진행이 되지 않아서 정리해본다.

Transformer 관련을 찾아보면서 Huggingface의 transformers 레포지토리에 BERT 다음으로 나오는 OpenAI의 GPT를 읽어보기로 헀다. 대신 정리가 너무 오래 걸리는 결과 같은 건 다 제외한다.

최근에 🤗/transformers에서 다양한 transformer based model을 소개했는데, 그래서 transformer 기반의 여러 모델들을 정리해보려 한다. 첫번째로 Google의 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding를 정리해본다.

이 논문(Applying Conditional Random Fields to Japanese Morphological Analysis)을 참고해서 적어본다.

MeCab을 한국어를 위해 새로 작성해보고 싶어서 그 논문(Applying Conditional Random Fields to Japanese Morphological Analysis)을 찾아보았더니, CRF based segmentation이라고 불러서 CRF에 대해 우선 정리한다. (프로 야크 쉐이버)

파이콘 KR 2019에 가보면서 들었던 꽤 좋았던 세션들 목록 + 내용을 간단하게 정리하면서 그 내용을 블로그에도 옮겨놓는다. 회사분들께 공유할 목적으로 적어놓아서 많은 부분이 빠져있고, 엄청 축약되어 있는 것도 있다.

Transformer를 소개하는 논문으로, CS224n강의의 suggested readings 목록에 있어서 읽어본 논문이다. 한국어 리뷰도 엄청 많을 정도로 유명한 논문이다. 해당 논문을 읽고, 간략한 정리를 해보았다. 논문은 arXiv:1706.03762에 있다.

18강이고 강의 전체가 다 끝나기까지 이 강의를 제외하고 2강정도만 남았다.