PyTorch框架学习。

这篇文章主要介绍如何用PyTorch设计实现一个NN。

colab笔记：

Neural Network Design 1: The Layers

Neural Network Design 2: Callable Neural Networks

Neural Network Design 3: CNN Forward Method

Neural Network Design 4: Pass A Batch of Images

PyTorch框架学习。

这篇文章介绍了深度学习中的数据和数据处理的常用类DataSet和DataLoader。

colab笔记：Data And Data Processing

这篇文章详细讲解了无监督学习（Unsupervised learning）的PCA（主成分分析法）。

文章开篇从聚类（Clustering）引出Distributed Represention，其中粗略阐述了聚类中K-means和HAC（层次聚类）的思想。

文章的后半部分具体阐述了PCA的数学细节，PCA的去相关性性质，PCA的另一种解释角度（component的角度），PCA的不足等。

PyTorch框架学习。

本篇文章主要介绍PyTorch中的Tensor及其基本操作，主要分为四个方面：Reshape, Element-wise, Reduction和Access。

Tensor的具体操作介绍，建议配合Colab笔记使用：

PyTorch Tensors Explained

Tensor Operations: Reshape

Tensor Operations: Element-wise

Tensor Operation: Reduction and Access

英文的表达解释都是比较清晰且精确的，所以以英语的形式作为主要记录，文中会夹带一些中文总结语句，方便阅读。

PyTorch框架学习。

本篇文章主要介绍PyTorch的相关背景知识。

这篇文章主要是介绍一种无监督学习——Word Embedding（词嵌入）。

文章开篇介绍了word编码的1-of-N encoding方式和word class方式，但这两种方式得到的单词向量表示都不能很好表达单词的语义和单词之间的语义联系。

Word Embedding可以很好的解决这个问题。

Word Embedding有count based和prediction based两种方法。文章主要介绍了prediction based的方法，包括如何predict the word vector? 为什么这样的模型works？介绍了prediction based的变体；详细阐述了该模型中sharing parameters的做法和其必要性。

文章最后简单列举了word embedding的相关应用，包括multi-lingual embedding, multi-domain embedding, document embedding 等。

这篇文章开篇讲述了什么是Semi-supervised Learning（半监督学习）？

再次，文章具体阐述了四种Semi-supervised Learning，包括Generative Model，Low-density，Smoothness Assumption和Better Representation。

对于Generative Model，文章重点讲述了如何用EM算法来训练模型。

对于Low-density，文章重点讲述了如何让模型进行Self-training，并且在训练中引入Entropy-based Regularization term来尽可能low-density的假设。

对于Smoothness Assumption，文章重点讲述了Graph-based Approach（基于图的方法），并且在训练中引入Smoothness Regularization term来尽可能满足Smoothness Assumption的假设。

对于Better Representation，本篇文章只是简单阐述了其思想，具体介绍见这篇博客。

这篇文章中，介绍了Deep Learning的一般步骤。

这篇文章叙述了进行regression时，where dose the error come from?
这篇文章除了解释了error为什么来自bias和variance，还给出了当error产生时应该怎么办？如何让模型在实践应用中也能表现地和测试时几乎一样的好？

在YouTube上看台大李宏毅老师的课，看完Regression讲座的感受就是： 好想去抓Pokemon！！！
这篇文章将总结李宏毅老师Regression的讲座，并尝试实现其demo。