「机器学习-李宏毅」:Recurrent Neural Network(RNN)

这篇文章中首先从RNN能解决什么问题入手,分析了RNN与一般NN的区别。
然后着重讲解了基于RNN的LSTM模型,包括LSTM的细节、和一般NN的区别,以及如何训练LSTM模型。
具体阐述了在模型(RNN类模型)训练过程中为什么会遇到剧烈抖动问题和如何解决抖动的工程解决方法。


「机器学习-李宏毅」:Tips for Deep Learning

这篇文章中,详尽阐述了在训练Deep Neural Network时,改善performance的一些tips。
tips从Training和Testing两个方面展开。
在Training中结果不尽人意时,可以采取更换新的activation function(如ReLu,Maxout等)和采用Adaptive Learning Rate的GradientDescent算法(除了Adagrad,还有RMSprop、Momentum、Adam等)。
当在Training中得到好的performance,但在testing中perform bad时,即遇到了overfitting,又该怎么处理呢?文章后半部分详尽介绍了EarlyStopping、Regularization和Dropout三个solution。