Embedding: 데이터를 낮은 차원의 기계가 이해할 수 있는 벡터(vector)로 표현한 것

Embedding 방법

• Sparse Representation(희소 표현): 극히 일부의 인덱스만 특정 값으로 표현하고, 대부분의 나머지 인덱스는 의미 없는 값(0)으로 표현하는 것
  • ex) 원-핫 인코딩
  • Sparse Representation은 불필요한 벡터 공간의 낭비를 유발
• Dense Representation(밀집 표현): 데이터를 실수 값으로 구성하여 사용자가 설정한 차원만큼의 벡터로 표현한 것
  • ex) Word2Vec, torch.nn.ebedidng
  • 공간의 낭비가 발생하지는 않으나, 차원 자체가 하이퍼파라미터이므로, 적절한 조정이 필요함