728x90 Seize the moment/SoundSpray2 AE, DAE, VAE AE (AutoEncoder) 비지도 학습 유형, 인코더와 디코더로 이루어져 있고, 인코더는 차원축소를, 디코더는 생성모델의 역할을 한다. 특징 Unsupervised learning : 학습시 라벨이 없는 unsupervised 방식으로 수행됨. Representation learning : 학습시 Loss는 Negative Maximum Likelihood(nml)로 해석. Dimensionality reduction :학습된 오토인코더의 인코더는 차원 축소의 역할을 하고 Generative model learning : 학습된 오토인코더의 디코더는 생성 역할을 함. 차원 축소를 해야 하는 이유는, 차원이 복잡하면 파라미터가 많아져서 오버피팅이 나게 되고, 복잡도가 떨어지기 때문이다. 차원 축소를 통.. 2023. 3. 31. 수렴되지 않는 이유.. Hyperparameter 튜닝: 모델의 학습이 잘 되지 않는 경우, 먼저 Hyperparameter를 조정해보는 것이 좋습니다. 예를 들어, 학습률, 배치 크기, 최적화 알고리즘 등을 변경하여 성능이 개선되는지 확인해볼 수 있습니다. 또한, Contrastive Learning에서는 negative sample의 개수와 temperature parameter도 중요한 hyperparameter입니다. 이러한 hyperparameter를 변경하여 모델의 학습이 개선되는지 확인해보는 것이 좋습니다. Data Augmentation 적용: Contrastive Learning에서 Data Augmentation은 중요한 역할을 합니다. 이는 모델이 다양한 변형된 입력 데이터를 통해 더욱 강건하게 학습할 수 .. 2023. 3. 23. 이전 1 다음 728x90
