Use of Loss func, Optimizer

 

Loss function과 Optimizer를 어떤 것을 쓰느냐에 따라 아웃풋이 달라지기에 찾아본 내용.

Quora에 나온 글에서 chatbot이 설명해준 정보를 긁어왔다.

결론만 내자면 이산형인지 연속형인지 하는 데이터의 성격에 따라 선택이 달라진다고 한다.

그 외의 경우 배치값, 학습률 등등을 조절해 섬세한 차이를 줄 수도 있겠다.

---

Choosing the right optimizer and loss function for your neural network is crucial for achieving good performance. Here’s a guide to help you make informed decisions:
1. Understand the Problem Type
* Classification vs. Regression: The type of problem you are solving (classification, regression, etc.) will largely influence your choice of loss function.
    * Classification:
    * Binary Classification: Use Binary Cross-Entropy Loss.
    * Multi-Class Classification: Use Categorical Cross-Entropy Loss (for one-hot encoded labels) or Sparse Categorical Cross-Entropy Loss (for integer labels).
    * Regression: Use Mean Squared Error (MSE) or Mean Absolute Error (MAE).

2. Choosing the Loss Function
* Binary Cross-Entropy: Ideal for binary classification tasks.
* Categorical Cross-Entropy: Suitable for multi-class classification with one-hot encoded labels.
* Sparse Categorical Cross-Entropy: Good for multi-class classification with integer labels.
* Mean Squared Error (MSE): Commonly used for regression tasks; sensitive to outliers.
* Mean Absolute Error (MAE): Less sensitive to outliers than MSE, often preferred when outliers are present.

3. Choosing the Optimizer
* Stochastic Gradient Descent (SGD): A basic optimizer that can be effective but often requires careful tuning of the learning rate and may converge slowly.
* Adam: A popular choice due to its adaptive learning rate properties; works well in practice for many tasks.
* RMSprop: Good for recurrent neural networks and situations where the data is non-stationary.
* Adagrad: Adapts the learning rate based on past gradients; can be useful for sparse data but may lead to a rapid decrease in learning rate.
4. Considerations for Optimizers
* Learning Rate: This is a critical hyperparameter. You may need to adjust it based on your optimizer choice. Techniques like learning rate schedules or adaptive learning rates can help.
* Batch Size: Smaller batch sizes can provide a more accurate estimate of the gradient, while larger batch sizes can speed up training but may lead to poorer generalization.

https://ganghee-lee.tistory.com/24

5. Experimentation
* No single optimizer or loss function works best for all problems. It’s important to experiment with different combinations to see what yields the best results for your specific dataset and architecture.
* Utilize techniques like cross-validation to evaluate the performance of different configurations.
6. Monitor Performance
* Track metrics relevant to your problem (accuracy, precision, recall for classification; RMSE, MAE for regression) during training to assess the impact of your choices.
Conclusion
In summary, the choice of optimizer and loss function should align with the nature of your problem, the architecture of your neural network, and the characteristics of your dataset. It often requires a combination of theoretical understanding and practical experimentation to find the best configuration.