PEP와 숫자로 이루어진 수많은 python proposal이 존재하지만, 그 많은 proposal들은 어떤 기준으로 읽어야 하고, 판단을 해야 할까? 어떤 proposal을 읽어야 하고 어떤 proposal을 읽지 않아도 될까? 이런 질문에 대한 답을...

• 핑퐁팀 블로그의 딥러닝 모델 서비스 A-Z 1편 - 연산 최적화 및 모델 경량화 - 딥러닝 모델 서비스 A-Z 1편에 올라간 글입니다. 작성에 일부 참여한 글이기 때문에 저장용으로...

아래는 TensorFlow를 사용하다보면 자주 볼 수 있는 경고 메시지이다. CPU가 AVX2, AVX512F, FMA를 지원하지만 해당 extension들을 사용하도록 빌드되지 않았다는 메시지인데, 이런 메시지는 tensorflow/serving에도 똑같이 적용된다. 그래서 “빨라지면 얼마나 빨라질까?”하고 테스트해보았다.

핑퐁팀 블로그에 올라간 글입니다. 직접 작성한 글이기 때문에 이 블로그에 아카이브합니다.

transformers.zip: Compressing Transformers with Pruning and Quantization이라는 논문인데, url을 보니까 cs224n reports인 듯 싶다.. https://github.com/robeld/ERNIE로 가면 소스코드를 확인할 수 있다.

최근 회사에서의 업무 때문에 논문을 많이 찾아보게 되었는데, 그리 되어서 어쨌든 ALBERT도 읽었으니 정리. 귀찮은 부분은 건너뛴다. 논문은 ALBERT: A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS이다. Google...

RoBERTa: A Robustly Optimized BERT Pretraining Approach라는 이름으로 Facebook AI와 UW에서 같이 낸 논문이다. 이번에도 그냥 정리하고 싶은 부분만 정리.

오늘은 huggingface가 huggingface/transformers 레포지토리에 자체적으로 공개한 모델인 DistilBert를 읽고 정리해본다. 다른 정리처럼 한번 읽고 말 부분은 다 제외한다.

GPT에 이어서 GPT2 논문 (Language Models are Unsupervised Multitask Learners)도 간단하게 읽어보았다. 역시 정리하기에 귀찮은 부분은 다 건너뛴다.

TorchScript 사용법을 체크해보면서, PyTorch C++ FrontEnd 환경을 구성해볼 필요가 있었는데, 맥 환경에서는 생각보다 쉽게는 진행이 되지 않아서 정리해본다.

Transformer 관련을 찾아보면서 Huggingface의 transformers 레포지토리에 BERT 다음으로 나오는 OpenAI의 GPT를 읽어보기로 헀다. 대신 정리가 너무 오래 걸리는 결과 같은 건 다 제외한다.

최근에 🤗/transformers에서 다양한 transformer based model을 소개했는데, 그래서 transformer 기반의 여러 모델들을 정리해보려 한다. 첫번째로 Google의 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding를 정리해본다.

이 논문(Applying Conditional Random Fields to Japanese Morphological Analysis)을 참고해서 적어본다.

MeCab을 한국어를 위해 새로 작성해보고 싶어서 그 논문(Applying Conditional Random Fields to Japanese Morphological Analysis)을 찾아보았더니, CRF based segmentation이라고 불러서 CRF에 대해 우선 정리한다. (프로 야크 쉐이버)

파이콘 KR 2019에 가보면서 들었던 꽤 좋았던 세션들 목록 + 내용을 간단하게 정리하면서 그 내용을 블로그에도 옮겨놓는다. 회사분들께 공유할 목적으로 적어놓아서 많은 부분이 빠져있고, 엄청 축약되어 있는 것도 있다.