Category Archives: ML&DL

初始GAN

十一月 6, 2018ML&DLGANdotte

要说最近几年在深度学习领域最火的莫过于生成对抗网络，即 Generative Adversarial Networks(GANs)了。它是 Ian Goodfellow 在 2014 年发表的，也是这四年来出现的各种 GAN 的变种的开山鼻祖了，下图表示这四年来有关 GAN 的论文的每个月发表数量，可以看出在 2014 年提出后到 2016 年相关的论文是比较少的，但是从 2016 年，或者是 2017 年到今年这两年的时间，相关的论文是真的呈现井喷式增长。

那么，GAN 究竟是什么呢，它为何会成为这几年这么火的一个研究领域呢？

GAN，即生成对抗网络，是一个生成模型，也是半监督和无监督学习模型，它可以在不需要大量标注数据的情况下学习深度表征。最大的特点就是提出了一种让两个深度网络对抗训练的方法。

目前机器学习按照数据集是否有标签可以分为三种，监督学习、半监督学习和无监督学习，发展最成熟，效果最好的目前还是监督学习的方法，但是在数据集数量要求更多更大的情况下，获取标签的成本也更加昂贵了，因此越来越多的研究人员都希望能够在无监督学习方面有更好的发展，而 GAN 的出现，一来它是不太需要很多标注数据，甚至可以不需要标签，二来它可以做到很多事情，目前对它的应用包括图像合成、图像编辑、风格迁移、图像超分辨率以及图像转换等。

比如图片的转换， pix2pixGAN(https://github.com/affinelayer/pix2pix-tensorflow) 就可以做到，其结果如下图所示，分割图变成真实照片，从黑白图变成彩色图，从线条画变成富含纹理、阴影和光泽的图等等，这些都是这个 pix2pixGAN 实现的结果。

CycleGAN(https://github.com/junyanz/CycleGAN) 则可以做到风格迁移，其实现结果如下图所示，真实照片变成印象画，普通的马和斑马的互换，季节的变换等。

上述是 GAN 的一些应用例子，接下来会简单介绍 GAN 的原理以及其优缺点，当然也还有为啥等它提出两年后才开始有越来越多的 GAN 相关的论文发表。

1. 基本原理

GAN 的思想其实非常简单，就是生成器网络和判别器网络的彼此博弈。

GAN 主要就是两个网络组成，生成器网络(Generator)和判别器网络(Discriminator)，通过这两个网络的互相博弈，让生成器网络最终能够学习到输入数据的分布，这也就是 GAN 想达到的目的–学习输入数据的分布。其基本结构如下图所示，从下图可以更好理解G 和 D 的功能，分别为：

D 是判别器，负责对输入的真实数据和由 G 生成的假数据进行判断，其输出是 0 和 1，即它本质上是一个二值分类器，目标就是对输入为真实数据输出是 1，对假数据的输入，输出是 0；
G 是生成器，它接收的是一个随机噪声，并生成图像。

在训练的过程中，G 的目标是尽可能生成足够真实的数据去迷惑 D，而 D 就是要将 G 生成的图片都辨别出来，这样两者就是互相博弈，最终是要达到一个平衡，也就是纳什均衡。

2. 优点

(以下优点和缺点主要来自 Ian Goodfellow 在 Quora 上的回答，以及知乎上的回答)

GAN 模型只用到了反向传播,而不需要马尔科夫链
训练时不需要对隐变量做推断
理论上,只要是可微分函数都可以用于构建 D 和 G ,因为能够与深度神经网络结合做深度生成式模型
G 的参数更新不是直接来自数据样本,而是使用来自 D 的反向传播
相比其他生成模型（VAE、玻尔兹曼机），可以生成更好的生成样本
GAN 是一种半监督学习模型，对训练集不需要太多有标签的数据；
没有必要遵循任何种类的因子分解去设计模型,所有的生成器和鉴别器都可以正常工作

3. 缺点

可解释性差,生成模型的分布 Pg(G)没有显式的表达
比较难训练, D 与 G 之间需要很好的同步,例如 D 更新 k 次而 G 更新一次
训练 GAN 需要达到纳什均衡,有时候可以用梯度下降法做到,有时候做不到.我们还没有找到很好的达到纳什均衡的方法,所以训练 GAN 相比 VAE 或者 PixelRNN 是不稳定的,但我认为在实践中它还是比训练玻尔兹曼机稳定的多.
它很难去学习生成离散的数据,就像文本
相比玻尔兹曼机,GANs 很难根据一个像素值去猜测另外一个像素值,GANs 天生就是做一件事的,那就是一次产生所有像素,你可以用 BiGAN 来修正这个特性,它能让你像使用玻尔兹曼机一样去使用 Gibbs 采样来猜测缺失值
训练不稳定，G 和 D 很难收敛
训练还会遭遇梯度消失、模式崩溃的问题
缺乏比较有效的直接可观的评估模型生成效果的方法

3.1 为什么训练会出现梯度消失和模式奔溃

GAN 的本质就是 G 和 D 互相博弈并最终达到一个纳什平衡点，但这只是一个理想的情况，正常情况是容易出现一方强大另一方弱小，并且一旦这个关系形成，而没有及时找到方法平衡，那么就会出现问题了。而梯度消失和模式奔溃其实就是这种情况下的两个结果，分别对应 D 和 G 是强大的一方的结果。

首先对于梯度消失的情况是D 越好，G 的梯度消失越严重，因为 G 的梯度更新来自 D，而在训练初始阶段，G 的输入是随机生成的噪声，肯定不会生成很好的图片，D 会很容易就判断出来真假样本，也就是 D 的训练几乎没有损失，也就没有有效的梯度信息回传给 G 让 G 去优化自己。这样的现象叫做 gradient vanishing，梯度消失问题。

其次，对于模式奔溃（mode collapse）问题，主要就是 G 比较强，导致 D 不能很好区分出真实图片和 G 生成的假图片，而如果此时 G 其实还不能完全生成足够真实的图片的时候，但 D 却分辨不出来，并且给出了正确的评价，那么 G 就会认为这张图片是正确的，接下来就继续这么输出这张或者这些图片，然后 D 还是给出正确的评价，于是两者就是这么相互欺骗，这样 G 其实就只会输出固定的一些图片，导致的结果除了生成图片不够真实，还有就是多样性不足的问题。

更详细的解释可以参考令人拍案叫绝的Wasserstein GAN(https://zhuanlan.zhihu.com/p/25071913)，这篇文章更详细解释了原始 GAN 的问题，主要就是出现在 loss 函数上。

3.2 为什么GAN不适合处理文本数据

文本数据相比较图片数据来说是离散的，因为对于文本来说，通常需要将一个词映射为一个高维的向量，最终预测的输出是一个one-hot向量，假设 softmax 的输出是（0.2， 0.3， 0.1，0.2，0.15，0.05），那么变为 onehot是（0，1，0，0，0，0），如果softmax输出是（0.2， 0.25， 0.2， 0.1，0.15，0.1 ），one-hot 仍然是（0， 1， 0， 0， 0， 0），所以对于生成器来说，G 输出了不同的结果, 但是 D 给出了同样的判别结果，并不能将梯度更新信息很好的传递到 G 中去，所以 D 最终输出的判别没有意义。
GAN 的损失函数是 JS 散度，JS 散度不适合衡量不想交分布之间的距离。（WGAN 虽然使用 wassertein 距离代替了 JS 散度，但是在生成文本上能力还是有限，GAN 在生成文本上的应用有 seq-GAN,和强化学习结合的产物）

3.3 为什么GAN中的优化器不常用SGD

SGD 容易震荡，容易使 GAN 的训练更加不稳定，
GAN 的目的是在高维非凸的参数空间中找到纳什均衡点，GAN 的纳什均衡点是一个鞍点，但是 SGD 只会找到局部极小值，因为 SGD 解决的是一个寻找最小值的问题，但 GAN 是一个博弈问题。

对于鞍点，来自百度百科的解释是：

鞍点（Saddle point）在微分方程中，沿着某一方向是稳定的，另一条方向是不稳定的奇点，叫做鞍点。在泛函中，既不是极大值点也不是极小值点的临界点，叫做鞍点。在矩阵中，一个数在所在行中是最大值，在所在列中是最小值，则被称为鞍点。在物理上要广泛一些，指在一个方向是极大值，另一个方向是极小值的点。

鞍点和局部极小值点、局部极大值点的区别如下图所示：

4. 训练的技巧

训练的技巧主要来自 Tips and tricks to make GANs work–https://github.com/soumith/ganhacks。

1. 对输入进行规范化

将输入规范化到 -1 和 1 之间
G 的输出层采用Tanh激活函数

2. 采用修正的损失函数

在原始 GAN 论文中，损失函数 G 是要 , 但实际使用的时候是采用，作者给出的原因是前者会导致梯度消失问题。

但实际上，即便是作者提出的这种实际应用的损失函数也是存在问题，即模式奔溃的问题，在接下来提出的 GAN 相关的论文中，就有不少论文是针对这个问题进行改进的，如 WGAN 模型就提出一种新的损失函数。

3. 从球体上采样噪声

不要采用均匀分布来采样
从高斯分布中采样得到随机噪声
当进行插值操作的时候，从大圆进行该操作，而不要直接从点 A 到点 B 直线操作，如下图所示

更多细节可以参考 Tom White’s 的论文 Sampling Generative Networks(https://arxiv.org/abs/1609.04468) 以及代码 https://github.com/dribnet/plat

4. BatchNorm

采用 mini-batch BatchNorm，要保证每个 mini-batch 都是同样的真实图片或者是生成图片
不采用 BatchNorm 的时候，可以采用 instance normalization（对每个样本的规范化操作）
可以使用虚拟批量归一化(virtural batch normalization):开始训练之前预定义一个 batch R，对每一个新的 batch X，都使用 R+X 的级联来计算归一化参数

5. 避免稀疏的梯度：Relus、MaxPool

稀疏梯度会影响 GAN 的稳定性
在 G 和 D 中采用 LeakyReLU 代替 Relu 激活函数
对于下采样操作，可以采用平均池化(Average Pooling) 和 Conv2d+stride 的替代方案
对于上采样操作，可以使用 PixelShuffle(https://arxiv.org/abs/1609.05158), ConvTranspose2d + stride

6. 标签的使用

标签平滑。也就是如果有两个目标标签，假设真实图片标签是 1，生成图片标签是 0，那么对每个输入例子，如果是真实图片，采用 0.7 到 1.2 之间的一个随机数字来作为标签，而不是 1；一般是采用单边标签平滑
在训练 D 的时候，偶尔翻转标签
有标签数据就尽量使用标签

7. 使用 Adam 优化器

8. 尽早追踪失败的原因

D 的 loss 变成 0，那么这就是训练失败了
检查规范的梯度：如果超过 100，那出问题了
如果训练正常，那么 D loss 有低方差并且随着时间降低
如果 g loss 稳定下降，那么它是用糟糕的生成样本欺骗了 D

9. 不要通过统计学来平衡 loss

10. 给输入添加噪声

给 D 的输入添加人为的噪声
http://www.inference.vc/instance-noise-a-trick-for-stabilising-gan-training/
https://openreview.net/forum?id=Hk4_qw5xe
给 G 的每层都添加高斯噪声

11. 对于 Conditional GANs 的离散变量

使用一个 Embedding 层
对输入图片添加一个额外的通道
保持 embedding 低维并通过上采样操作来匹配图像的通道大小

12 在 G 的训练和测试阶段使用 Dropouts

以 dropout 的形式提供噪声(50%的概率)
训练和测试阶段，在 G 的几层使用
https://arxiv.org/pdf/1611.07004v1.pdf

参考文章：

Goodfellow et al., “Generative Adversarial Networks”. ICLR 2014.–https://arxiv.org/abs/1406.2661
GAN系列学习(1)——前生今世
干货 | 深入浅出 GAN·原理篇文字版（完整）
令人拍案叫绝的Wasserstein GAN–https://zhuanlan.zhihu.com/p/25071913
生成对抗网络(GAN)相比传统训练方法有什么优势?–https://www.zhihu.com/question/56171002/answer/148593584
https://github.com/hindupuravinash/the-gan-zoo
What-is-the-advantage-of-generative-adversarial-networks-compared-with-other-generative-models–https://www.quora.com/What-is-the-advantage-of-generative-adversarial-networks-compared-with-other-generative-models
What-are-the-pros-and-cons-of-using-generative-adversarial-networks-a-type-of-neural-network-Could-they-be-applied-to-things-like-audio-waveform-via-RNN-Why-or-why-not–https://www.quora.com/What-are-the-pros-and-cons-of-using-generative-adversarial-networks-a-type-of-neural-network-Could-they-be-applied-to-things-like-audio-waveform-via-RNN-Why-or-why-not
https://github.com/soumith/ganhacks

注：配图来自网络和参考文章

Android+TensorFlow+CNN+MNIST 手写数字识别实现

二月 11, 2018ML&DLCNN, DeepLearning, TensorFlowdotte

Catalogue

Overview

本文系“SkySeraph AI 实践到理论系列”第一篇，咱以AI界的HelloWord 经典MNIST数据集为基础，在Android平台，基于TensorFlow，实现CNN的手写数字识别。
Code~

Practice

Environment

TensorFlow： 1.2.0
Python： 3.6
Python IDE： PyCharm 2017.2
Android IDE： Android Studio 3.0

Train & Evaluate（Python+TensorFlow）

训练和评估部分主要目的是生成用于测试用的pb文件，其保存了利用TensorFlow python API构建训练后的网络拓扑结构和参数信息，实现方式有很多种，除了cnn外还可以使用rnn，fcnn等。
其中基于cnn的函数也有两套，分别为tf.layers.conv2d和tf.nn.conv2d， tf.layers.conv2d使用tf.nn.conv2d作为后端处理，参数上filters是整数，filter是4维张量。原型如下：
convolutional.py文件
def conv2d(inputs, filters, kernel_size, strides=(1, 1), padding=’valid’, data_format=’channels_last’,
dilation_rate=(1, 1), activation=None, use_bias=True, kernel_initializer=None,
bias_initializer=init_ops.zeros_initializer(), kernel_regularizer=None, bias_regularizer=None,
activity_regularizer=None, kernel_constraint=None, bias_constraint=None, trainable=True, name=None,
reuse=None)

gen_nn_ops.py 文件

def conv2d(input, filter, strides, padding, use_cudnn_on_gpu=True, data_format="NHWC", name=None)

官方Demo实例中使用的是layers module，结构如下：

Convolutional Layer #1：32个5×5的filter，使用ReLU激活函数
Pooling Layer #1：2×2的filter做max pooling，步长为2
Convolutional Layer #2：64个5×5的filter，使用ReLU激活函数
Pooling Layer #2：2×2的filter做max pooling，步长为2
Dense Layer #1：1024个神经元，使用ReLU激活函数，dropout率0.4 (为了避免过拟合，在训练的时候，40%的神经元会被随机去掉)
Dense Layer #2 (Logits Layer)：10个神经元，每个神经元对应一个类别（0-9）

核心代码在cnn_model_fn(features, labels, mode)函数中，完成卷积结构的完整定义，核心代码如下.

也可以采用传统的tf.nn.conv2d函数, 核心代码如下。

Test（Android+TensorFlow）

核心是使用API接口： TensorFlowInferenceInterface.java
配置gradle 或者自编译TensorFlow源码导入jar和so
compile ‘org.tensorflow:tensorflow-android:1.2.0’
导入pb文件.pb文件放assets目录，然后读取
String actualFilename = labelFilename.split(“file:///android_asset/“)[1];
Log.i(TAG, “Reading labels from: “ + actualFilename);
BufferedReader br = null;
br = new BufferedReader(new InputStreamReader(assetManager.open(actualFilename)));
String line;
while ((line = br.readLine()) != null) {
c.labels.add(line);
}
br.close();
TensorFlow接口使用
最终效果：

Theory

MNIST

MNIST，最经典的机器学习模型之一，包含0~9的数字，28*28大小的单色灰度手写数字图片数据库，其中共60,000 training examples和10,000 test examples。
文件目录如下，主要包括4个二进制文件，分别为训练和测试图片及Label。

如下为训练图片的二进制结构，在真实数据前（pixel），有部分描述字段（魔数，图片个数，图片行数和列数），真实数据的存储采用大端规则。
（大端规则，就是数据的高字节保存在低内存地址中，低字节保存在高内存地址中）

在具体实验使用，需要提取真实数据，可采用专门用于处理字节的库struct中的unpack_from方法，核心方法如下：
struct.unpack_from(self._fourBytes2, buf, index)

MNIST作为AI的Hello World入门实例数据，TensorFlow封装对其封装好了函数，可直接使用
mnist = input_data.read_data_sets(‘MNIST’, one_hot=True)

CNN（Convolutional Neural Network）

CNN Keys

CNN，Convolutional Neural Network，中文全称卷积神经网络，即所谓的卷积网（ConvNets）。
卷积（Convolution）可谓是现代深度学习中最最重要的概念了，它是一种数学运算，读者可以从下面链接[23]中卷积相关数学机理，包括分别从傅里叶变换和狄拉克δ函数中推到卷积定义，我们可以从字面上宏观粗鲁的理解成将因子翻转相乘卷起来。
卷积动画。演示如下图[26]，更多动画演示可参考[27]
神经网络。一个由大量神经元（neurons）组成的系统，如下图所示[21]

其中x表示输入向量，w为权重，b为偏值bias，f为激活函数。
Activation Function 激活函数：常用的非线性激活函数有Sigmoid、tanh、ReLU等等，公式如下如所示。
- Sigmoid缺点
  - 函数饱和使梯度消失（神经元在值为 0 或 1 的时候接近饱和，这些区域，梯度几乎为 0）
  - sigmoid 函数不是关于原点中心对称的（无0中心化）
- tanh：存在饱和问题，但它的输出是零中心的，因此实际中 tanh 比 sigmoid 更受欢迎。
- ReLU
  - 优点1：ReLU 对于 SGD 的收敛有巨大的加速作用
  - 优点2：只需要一个阈值就可以得到激活值，而不用去算一大堆复杂的（指数）运算
  - 缺点：需要合理设置学习率（learning rate），防止训练时dead，还可以使用Leaky ReLU/PReLU/Maxout等代替
Pooling池化。一般分为平均池化mean pooling和最大池化max pooling，如下图所示[21]为max pooling，除此之外，还有重叠池化（OverlappingPooling）[24]，空金字塔池化（Spatial Pyramid Pooling）[25]
- 平均池化：计算图像区域的平均值作为该区域池化后的值。
- 最大池化：选图像区域的最大值作为该区域池化后的值。

CNN Architecture

三层神经网络。分别为输入层（Input layer）,输出层（Output layer）,隐藏层（Hidden layer），如下图所示[21]
CNN层级结构。斯坦福cs231n中阐述了一种[INPUT-CONV-RELU-POOL-FC]，如下图所示[21]，分别为输入层，卷积层，激励层，池化层，全连接层。
CNN通用架构分为如下三层结构：
- Convolutional layers 卷积层
- Pooling layers 汇聚层
- Dense (fully connected) layers 全连接层
动画演示。参考[22]。

Regression + Softmax

机器学习有监督学习（supervised learning）中两大算法分别是分类算法和回归算法，分类算法用于离散型分布预测，回归算法用于连续型分布预测。
回归的目的就是建立一个回归方程用来预测目标值，回归的求解就是求这个回归方程的回归系数。
其中回归（Regression）算法包括Linear Regression，Logistic Regression等， Softmax Regression是其中一种用于解决多分类（multi-class classification）问题的Logistic回归算法的推广，经典实例就是在MNIST手写数字分类上的应用。

Linear Regression

Linear Regression是机器学习中最基础的模型，其目标是用预测结果尽可能地拟合目标label

多元线性回归模型定义
多元线性回归求解
Mean Square Error (MSE)
- Gradient Descent（梯度下降法）
- Normal Equation（普通最小二乘法）
- 局部加权线性回归（LocallyWeightedLinearRegression, LWLR )：针对线性回归中模型欠拟合现象，在估计中引入一些偏差以便降低预测的均方误差。
- 岭回归（ridge regression)和缩减方法
选择： Normal Equation相比Gradient Descent，计算量大（需计算X的转置与逆矩阵），只适用于特征个数小于100000时使用；当特征数量大于100000时使用梯度法。当X不可逆时可替代方法为岭回归算法。LWLR方法增加了计算量，因为它对每个点做预测时都必须使用整个数据集，而不是计算出回归系数得到回归方程后代入计算即可，一般不选择。
调优：平衡预测偏差和模型方差（高偏差就是欠拟合，高方差就是过拟合）
- 获取更多的训练样本 – 解决高方差
- 尝试使用更少的特征的集合 – 解决高方差
- 尝试获得其他特征 – 解决高偏差
- 尝试添加多项组合特征 – 解决高偏差
- 尝试减小 λ – 解决高偏差
- 尝试增加 λ -解决高方差

Softmax Regression

Softmax Regression估值函数（hypothesis）
Softmax Regression代价函数（cost function）
理解：
Softmax Regression & Logistic Regression：
- 多分类 & 二分类。Logistic Regression为K=2时的Softmax Regression
- 针对K类问题，当类别之间互斥时可采用Softmax Regression，当非斥时，可采用K个独立的Logistic Regression
总结： Softmax Regression适用于类别数量大于2的分类，本例中用于判断每张图属于每个数字的概率。

References & Recommends

MNIST

Softmax

CNN

TensorFlow+CNN / TensorFlow+Android

By SkySeraph-2018

SkySeraph cnBlogs
SkySeraph CSDN

本文首发于skyseraph.com：“Android+TensorFlow+CNN+MNIST 手写数字识别实现”

2017年度盘点：15个最流行的GitHub机器学习项目

十二月 26, 2017ML&DLMachine Learningdotte

在本文中，作者列出了 2017 年 GitHub 平台上最为热门的知识库，囊括了数据科学、机器学习、深度学习中的各种项目，希望能对大家学习、使用有所帮助。另，小编恬不知耻地把机器之心的 Github 项目也加了进来，求 star，求 pull requests。

GitHub 是计算机科学领域最为活跃的社区，在 GitHub 上，来自不同背景的人们分享越来越多的软件工具和资源库。在其中，你不仅可以获取自己所需的工具，还可以观看代码是如何写成并实现的。

作为一名机器学习爱好者，作者在本文中列出了 2017 年 GitHub 平台上最为热门的知识库，其中包含了学习资料与工具。希望对你的学习和研究有所帮助。

1. 学习资源

1.1 Awesome Data Science

项目地址： https://github.com/bulutyazilim/awesome-datascience

该 repo 是数据科学的基本资源。多年来的无数贡献构建了此 repo 里面的各种资源，从入门指导、信息图，到社交网络上你需要 follow 的账号。无论你是初学者还是业内老兵，里面都有大量的资源需要学习。

从该 repo 的目录可以看出其深度。

1.2 Machine Learning / Deep Learning Cheat Sheet

项目地址：https://github.com/kailashahirwar/cheatsheets-ai

该项目以 cheatsheet 的形式介绍了机器学习/深度学习中常用的工具与技术，从 pandas 这样的简单工具到深度学习技术都涵盖其中。在收藏或者 fork 该项目之后，你就不用再费事搜索常用的技巧和注意事项了。

简单介绍下，cheatsheets 类型包括 pandas、numpy、scikit learn、matplotlib、ggplot、dplyr、tidyr、pySpark 和神经网络。

1.3 Oxford Deep Natural Language Processing Course Lectures

项目地址：https://github.com/oxford-cs-deepnlp-2017/lectures

斯坦福的 NLP 课程一直是自然语言处理领域的金牌教程。但是近期随着深度学习的发展，在 RNN 和 LSTM 等深度学习架构的帮助下，NLP 出现了大量进步。

该 repo 基于牛津大学的 NLP 课程，涵盖先进技术和术语，如使用 RNN 进行语言建模、语音识别、文本转语音（TTS）等。该 repo 包含该课程从课程材料到实践联系的所有内容。

1.4 PyTorch – Tutorial

项目地址：https://github.com/yunjey/pytorch-tutorial

截至今天，PyTorch 仍是 TensorFlow 的唯一竞争对手，它的功能和声誉使其成为了颇具竞争力的深度学习框架。因其 Pythonic 风格的编程、动态计算图和更快的原型开发，Pytorch 已经获得了深度学习社区的广泛关注。

该知识库包含 PyTorch 上大量的深度学习任务代码，包括 RNN、GAN 和神经风格迁移。其中的大多数模型在实现上仅需 30 余行代码。这充分说明了 PyTorch 的抽象能力，它让研究人员可以专注于找到正确的模型，而无需纠缠于编程语言和工具选择等细节。

1.5 Resources of NIPS 2017

项目地址：https://github.com/hindupuravinash/nips2017

该 repo 包含 NIPS 2017 的资源和所有受邀演讲、教程和研讨会的幻灯片。NIPS 是一年一度的机器学习和计算神经科学会议。

过去几年中，数据科学领域内的大部分突破性研究都曾作为研究结果出现在 NIPS 大会上。如果你想站在领域前沿，那这就是很好的资源！

2. 开源软件库

2.1 TensorFlow

项目地址：https://github.com/tensorflow/tensorflow

TensorFlow 是一种采用数据流图（data flow graph）进行数值计算的开源软件库。其中 Tensor 代表传递的数据为张量（多维数组），Flow 代表使用计算图进行运算。数据流图用「结点」（node）和「边」（edge）组成的有向图来描述数学运算。「结点」一般用来表示施加的数学操作，但也可以表示数据输入的起点和输出的终点，或者是读取/写入持久变量（persistent variable）的终点。边表示结点之间的输入/输出关系。这些数据边可以传送维度可动态调整的多维数据数组，即张量（tensor）。

TensorFlow 自正式发布以来，一直保持着「深度学习/机器学习」顶尖库的位置。谷歌大脑团队和机器学习社区也一直在积极地贡献并保持最新的进展，尤其是在深度学习领域。

TensorFlow 最初是使用数据流图进行数值计算的开源软件库，但从目前来看，它已经成为构建深度学习模型的完整框架。它目前主要支持 TensorFlow，但也支持 C、C++ 和 Java 等语言。此外，今年 11 月谷歌终于发布了新工具的开发者预览版本，这是一款 TensorFlow 用于移动设备和嵌入式设备的轻量级解决方案。

2.2 TuriCreate：一个简化的机器学习库

项目地址：https://github.com/apple/turicreate

TuriCreate 是苹果最近贡献的一个开源项目，它为机器学习模型提供易于使用的创建方法和部署方法，这些机器学习模型包括目标检测、人体姿势识别和推荐系统等复杂任务。

可能我们作为机器学习爱好者会比较熟悉 GraphLab Create，一个非常简便高效的机器学习库，而当初创建该库的公司 TuriCreate 被苹果收购时，造成了很大反响。

TuriCreate 是针对 Python 开发的，且它最强的的特征是将机器学习模型部署到 Core ML 中，用于开发 iOS、macOS、watchOS 和 tvOS 等应用程序。

2.3 OpenPose

项目地址： https://github.com/CMU-Perceptual-Computing-Lab/openpose

OpenPose 是一个多人关键点检测库，它可以帮助我们实时地检测图像或视频中某个人的位置。

OpenPose 软件库由 CMU 的感知计算实验室开发并维护，对于说明开源研究如何快速应用于部署到工业中，它是非常好的一个案例。

OpenPose 的一个使用案例是帮助解决活动检测问题，即演员完成的动作或活动能被实时捕捉到。然后这些关键点和它们的动作可用来制作动画片。OpenPose 不仅有 C++的 API 以使开发者能快速地访问它，同时它还有简单的命令行界面用来处理图像或视频。

2.4 DeepSpeech

项目地址： https://github.com/mozilla/DeepSpeech

DeepSpeech 是百度开发的开源实现库，它提供了当前顶尖的语音转文本合成技术。它基于 TensorFlow 和 Python，但也可以绑定到 NodeJS 或使用命令行运行。

Mozilla 一直是构建 DeepSpeech 和开源软件库的主要研究力量，Mozilla 技术战略副总裁 Sean White 在一篇博文中写道：「目前只有少数商用质量的语音识别引擎是开源的，它们大多数由大型公司主宰。这样就减少了初创公司、研究人员和传统企业为它们的用户定制特定的产品与服务。但我们与机器学习社区的众多开发者和研究者共同完善了该开源库，因此目前 DeepSpeech 已经使用了复杂和前沿的机器学习技术创建语音到文本的引擎。」

2.5 Mobile Deep Learning

项目地址：https://github.com/baidu/mobile-deep-learning

该 repo 将数据科学中的当前最佳技术移植到了移动平台上。该 repo 由百度研究院开发，目的是将深度学习模型以低复杂性和高速度部署到移动设备（例如 Android 和 IOS）上。

该 repo 解释了一个简单的用例，即目标检测。它可以识别目标（例如一张图像中的手机）的准确位置，很棒不是吗？

2.6 Visdom

项目地址：https://github.com/facebookresearch/visdom

Visdom 支持图表、图像和文本在协作者之间进行传播。你可以用编程的方式组织可视化空间，或者通过 UI 为实时数据创建仪表盘，检查实验结果，或者调试实验代码。

绘图函数中的输入会发生改变，尽管大部分输入是数据的张量 X（而非数据本身）和（可选）张量 Y（包含可选数据变量，如标签或时间戳）。它支持所有基本图表类型，以创建 Plotly 支持的可视化。

Visdom 支持使用 PyTorch 和 Numpy。

2.7 Deep Photo Style Transfer

项目地址：https://github.com/luanfujun/deep-photo-styletransfer

该 repo 基于近期论文《Deep Photo Style Transfer》，该论文介绍了一种用于摄影风格迁移的深度学习方法，可处理大量图像内容，同时有效迁移参考风格。该方法成功克服了失真，满足了大量场景中的摄影风格迁移需求，包括时间、天气、季节、艺术编辑等场景。

2.8 CycleGAN

项目地址：https://github.com/junyanz/CycleGAN

CycleGAN 是一个有趣且强大的库，展现了该顶尖技术的潜力。举例来说，下图大致展示了该库的能力：调整图像景深。这里有趣的点在于你事先并没有告诉算法需要注意图像的哪一部分。算法完全依靠自己做到了！

目前该库用 Lua 编写，但是它也可以在命令行中使用。

2.9 Seq2seq

项目地址：https://github.com/google/seq2seq

Seq2seq 最初是为机器翻译而建立的，但已经被开发用于多种其它任务，包括摘要生成、对话建模和图像捕捉。只要一个问题的结构是将输入数据编码为一种格式，并将其解码为另一种格式，就可以使用 Seq2seq 框架。它使用了所有流行的基于 Python 的 TensorFlow 库进行编程。

2.10 Pix2code

项目地址：https://github.com/tonybeltramelli/pix2code

这个深度学习项目非常令人振奋，它尝试为给定的 GUI 自动生成代码。当建立网站或移动设备界面的时候，通常前端工程师必须编写大量枯燥的代码，这很费时和低效。这阻碍了开发者将主要的时间用于实现真正的功能和软件逻辑。Pix2code 的目的是通过将过程自动化来克服这一困难。它基于一种新方法，允许以单个 GUI 截图作为输入来生成计算机 token。

Pix2code 使用 Python 编写，可将移动设备和网站界面的捕捉图像转换成代码。

3. 机器之心项目

机器之心目前在 GitHub 上也有三个项目，分别是评估人工智能各领域优秀公司的 AI00、人工智能领域中英术语集和模型试验与解释项目。

3.1 AI00——机器之心百家影响人工智能未来的公司榜单

项目地址：https://github.com/jiqizhixin/AI00

人工智能是一个复杂庞大的体系，涉及众多学科，也关乎技术、产品、行业和资本等众多要素，本报告的写作团队只代表他们的专业观点，有自己的局限性，需要更多行业专家参与进来加以修正和完善。

我们深刻地理解在没有专业用户反馈的情况下所做出报告的质量局限性，所以希望用工程界「Agile Development」的理念来对待我们的报告，不断收集专业反馈来持续提升报告质量。

为此，我们将邀请人工智能领域的科学家、技术专家、产业专家、专业投资人和读者加入进来，共同完成这项人工智能的长期研究。我们将对参与者提供的信息进行汇总和整理，以月度为单位更新此份报告。

3.2 Artificial-Intelligence-Terminology

项目地址：https://github.com/jiqizhixin/Artificial-Intelligence-Terminology

我们将机器之心在编译技术文章和论文过程中所遇到的专业术语记录下来，希望有助于大家查阅和翻译（第二版）。

本词汇库目前拥有的专业词汇共计 760 个，主要为机器学习基础概念和术语，同时也是该项目的基本词汇。机器之心将继续完善术语的收录和扩展阅读的构建。

词汇更新主要分为两个阶段，第一阶段机器之心将继续完善基础词汇的构建，即通过权威教科书或其它有公信力的资料抽取常见术语。第二阶段机器之心将持续性地把编译论文或其他资料所出现的非常见术语更新到词汇表中。

读者的反馈意见和更新建议将贯穿整个阶段，并且我们将在项目致谢页中展示对该项目起积极作用的读者。因为我们希望术语的更新更具准确度和置信度，所以我们希望读者能附上该术语的来源地址与扩展地址。因此，我们能更客观地更新词汇，并附上可信的来源与扩展。

3.3 ML-Tutorial-Experiment

项目地址：https://github.com/jiqizhixin/ML-Tutorial-Experiment

该项目主要是展示我们在实验机器学习模型中所获得的经验与解释，目前我们解释并实现了卷积神经网络、生成对抗网络和 CapsNet。这些实现都有非常详细的文章以说明模型的结构与实现代码。如下所示为这三个实现项目的说明：

原文链接：https://www.analyticsvidhya.com/blog/2017/12/15-data-science-repositories-github-2017/

声明：本文由机器之心编译出品，原文来自Analytics Vidhya，转载请查看要求，机器之心对于违规侵权者保有法律追诉权。

from:https://www.jiqizhixin.com/articles/2017-12-21-10

一个框架解决几乎所有机器学习问题

十月 16, 2017ML&DL机器学习dotte

周一个叫 Abhishek Thakur 的数据科学家，在他的 Linkedin 发表了一篇文章 Approaching (Almost) Any Machine Learning Problem，介绍他建立的一个自动的机器学习框架，几乎可以解决任何机器学习问题，项目很快也会发布出来。这篇文章迅速火遍 Kaggle，他参加过100多个数据科学相关的竞赛，积累了很多宝贵的经验，看他很幽默地说“写这样的框架需要很多丰富的经验，不是每个人都有这样的经历，而很多人有宝贵的经验，但是他们不愿意分享，我呢恰好是又有一些经验，又愿意分享的人”。当然这篇文章也是受到争议的，很多人觉得并不全面。

我最近也在准备参加 Kaggle，之前看过几个例子，自己也总结了一个分析的流程，今天看了这篇文章，里面提到了一些高效的方法，最干货的是，他做了一个表格，列出了各个算法通常需要训练的参数。

这个问题很重要，因为大部分时间都是通过调节参数，训练模型来提高精度。作为一个初学者，第一阶段，最想知道的问题，就是如何调节参数。因为分析的套路很简单，就那么几步，常用的算法也就那么几个，以为把算法调用一下就可以了么，那是肯定不行的。实际过程中，调用完算法后，结果一般都不怎么好，这个时候还需要进一步分析，哪些参数可以调优，哪些数据需要进一步处理，还有什么更合适的算法等等问题。

接下来一起来看一下他的框架。

据说数据科学家 60-70％的时间都花在数据清洗和应用模型算法上面，这个框架主要针对算法的应用部分。

Pipeline

什么是 Kaggle？

Kaggle是一个数据科学竞赛的平台，很多公司会发布一些接近真实业务的问题，吸引爱好数据科学的人来一起解决，可以通过这些数据积累经验，提高机器学习的水平。

应用算法解决 Kaggle 问题，一般有以下几个步骤：

第一步：识别问题
第二步：分离数据
第三步：构造提取特征
第四步：组合数据
第五步：分解
第六步：选择特征
第七步：选择算法进行训练

当然，工欲善其事，必先利其器，要先把工具和包都安好。
最方便的就是安装 Anaconda，这里面包含大部分数据科学所需要的包，直接引入就可以了，常用的包有：

pandas：常用来将数据转化成 dataframe 形式进行操作
scikit-learn：里面有要用到的机器学习算法模型
matplotlib：用来画图
以及 xgboost，keras，tqdm 等。

第一步：识别问题

在这一步先明确这个问题是分类还是回归。通过问题和数据就可以判断出来，数据由 X 和 label 列构成，label 可以一列也可以多列，可以是二进制也可以是实数，当它为二进制时，问题属于分类，当它为实数时，问题属于回归。

第二步：分离数据

为什么需要将数据分成两部分？

用 Training Data 来训练模型，用 Validation Data 来检验这个模型的表现，不然的话，通过各种调节参数，模型可以在训练数据集上面表现的非常出色，但是这可能会是过拟合，过拟合就是太依赖现有的数据了，拟合的效果特别好，但是只适用于训练集，以致于来一个新的数据，就不知道该预测成什么了。所以需要有 Validation 来验证一下，看这个模型是在那里自娱自乐呢，还是真的表现出色。

在 scikit learn 包里就有工具可以帮你做到这些：
分类问题用 StrtifiedKFold

from sklearn.cross_validation import StratifiedKFold

回归问题用 KFold

from sklearn.cross_validation import KFold

第三步：构造特征

这个时候，需要将数据转化成模型需要的形式。数据有三种类型：数字，类别，文字。当数据是类别的形式时，需要将它的每一类提取出来作为单独一列，然后用二进制表示每条记录相应的值。例如：

record 1: 性别女
record 2：性别女
record 3：性别男

转化之后就是：

女男
record 1: 1 0
record 2：1 0
record 3：0 1

这个过程 sklearn 也可以帮你做到：

from sklearn.preprocessing import LabelEncoder

或者

from sklearn.preprocessing import OneHotEncoder

第四步：组合数据

处理完 Feature 之后，就将它们组合到一起。
如果数据是稠密的，就可以用 numpy 的 hstack:

import numpy as np
X = np.hstack((x1, x2, ...))

如果是稀疏的，就用 sparse 的 hstack：

from scipy import sparse
X = sparse.hstack((x1, x2, ...))

组合之后，就可以应用以下算法模型：

RandomForestClassifier
RandomForestRegressor
ExtraTreesClassifier
ExtraTreesRegressor
XGBClassifier
XGBRegressor

但是不能应用线性模型，线性模型之前需要对数据进行正则化而不是上述预处理。

第五步：分解

这一步是为了进一步优化模型，可以用以下方法：

PCA：Principal components analysis，主成分分析，是一种分析、简化数据集的技术。用于减少数据集的维数，同时保持数据集中的对方差贡献最大的特征。

from sklearn.decomposition import PCA

对于文字数据，在转化成稀疏矩阵之后，可以用 SVD

from sklearn.decomposition import TruncatedSVD

SVD：Singular Value Decomposition，奇异值分解，是线性代数中一种重要的矩阵分解，它总能找到标准化正交基后方差最大的维度，因此用它进行降维去噪。

第六步：选择特征

当特征个数越多时，分析特征、训练模型所需的时间就越长，容易引起“维度灾难”，模型也会越复杂，推广能力也会下降，所以需要剔除不相关或亢余的特征。

常用的算法有完全搜索，启发式搜索，和随机算法。

例如，Random Forest：

from sklearn.ensemble import RandomForestClassifier

或者 xgboost：

import xgboost as xgb

对于稀疏的数据，一个比较有名的方法是 chi-2：

from sklearn.feature_selection import SelectKBest
from sklearn.feature_selection import chi2

第七步：选择算法进行训练

选择完最相关的参数之后，接下来就可以应用算法，常用的算法有：

Classification:
Random Forest
GBM
Logistic Regression
Naive Bayes
Support Vector Machines
k-Nearest Neighbors

Regression
Random Forest
GBM
Linear Regression
Ridge
Lasso
SVR

在scikit－learn里可以看到分类和回归的可用的算法一览，包括它们的原理和例子代码。

在应用各算法之前先要明确这个方法到底是否合适。
为什么那么多算法里，只提出这几个算法呢，这就需要对比不同算法的性能了。
这篇神文 Do we Need Hundreds of Classifiers to Solve Real World Classification Problems 测试了179种分类模型在UCI所有的121个数据上的性能，发现Random Forests 和 SVM 性能最好。
我们可以学习一下里面的调研思路，看看是怎么样得到比较结果的，在我们的实践中也有一定的指导作用。

1507706339459_6332_1507706335760 各算法比较

但是直接应用算法后，一般精度都不是很理想，这个时候需要调节参数，最干货的问题来了，什么模型需要调节什么参数呢？

虽然在sklearn的文档里，会列出所有算法所带有的参数，但是里面并不会说调节哪个会有效。在一些mooc课程里，有一些项目的代码，里面可以看到一些算法应用时，他们重点调节的参数，但是有的也不会说清楚为什么不调节别的。这里作者根据他100多次比赛的经验，列出了这个表，我觉得可以借鉴一下，当然，如果有时间的话，去对照文档里的参数列表，再查一下算法的原理，通过理论也是可以判断出来哪个参数影响比较大的。

调参之后，也并不就是大功告成，这个时候还是需要去思考，是什么原因造成精度低的，是哪些数据的深意还没有被挖掘到，这个时候需要用统计和可视化去再一次探索数据，之后就再走一遍上面的过程。

我觉得这里还提到了很有用的一条经验是，把所有的 transformer 都保存起来，方便在 validation 数据集上面应用：

文章里介绍了分析问题的思路，还提到了几条很实用的经验，不过经验终究是别人的经验，只能借鉴，要想提高自己的水平，还是要看到作者背后的事情，就是参加了100多次实战，接下来就去行动吧，享受用算法和代码与数据玩耍的兴奋吧。

from:https://cloud.tencent.com/community/article/440346

Data science Python notebooks

九月 19, 2017BigData, ML&DLAWS, Keras, python, Sparkdotte

data-science-ipython-notebooks

Index

deep-learning

IPython Notebook(s) demonstrating deep learning functionality.

tensor-flow-tutorials

Additional TensorFlow tutorials:

Notebook	Description
tsf-basics	Learn basic operations in TensorFlow, a library for various kinds of perceptual and language understanding tasks from Google.
tsf-linear	Implement linear regression in TensorFlow.
tsf-logistic	Implement logistic regression in TensorFlow.
tsf-nn	Implement nearest neighboars in TensorFlow.
tsf-alex	Implement AlexNet in TensorFlow.
tsf-cnn	Implement convolutional neural networks in TensorFlow.
tsf-mlp	Implement multilayer perceptrons in TensorFlow.
tsf-rnn	Implement recurrent neural networks in TensorFlow.
tsf-gpu	Learn about basic multi-GPU computation in TensorFlow.
tsf-gviz	Learn about graph visualization in TensorFlow.
tsf-lviz	Learn about loss visualization in TensorFlow.

tensor-flow-exercises

Notebook	Description
tsf-not-mnist	Learn simple data curation by creating a pickle with formatted datasets for training, development and testing in TensorFlow.
tsf-fully-connected	Progressively train deeper and more accurate models using logistic regression and neural networks in TensorFlow.
tsf-regularization	Explore regularization techniques by training fully connected networks to classify notMNIST characters in TensorFlow.
tsf-convolutions	Create convolutional neural networks in TensorFlow.
tsf-word2vec	Train a skip-gram model over Text8 data in TensorFlow.
tsf-lstm	Train a LSTM character model over Text8 data in TensorFlow.

theano-tutorials

Notebook	Description
theano-intro	Intro to Theano, which allows you to define, optimize, and evaluate mathematical expressions involving multi-dimensional arrays efficiently. It can use GPUs and perform efficient symbolic differentiation.
theano-scan	Learn scans, a mechanism to perform loops in a Theano graph.
theano-logistic	Implement logistic regression in Theano.
theano-rnn	Implement recurrent neural networks in Theano.
theano-mlp	Implement multilayer perceptrons in Theano.

keras-tutorials

Notebook	Description
keras	Keras is an open source neural network library written in Python. It is capable of running on top of either Tensorflow or Theano.
setup	Learn about the tutorial goals and how to set up your Keras environment.
intro-deep-learning-ann	Get an intro to deep learning with Keras and Artificial Neural Networks (ANN).
theano	Learn about Theano by working with weights matrices and gradients.
keras-otto	Learn about Keras by looking at the Kaggle Otto challenge.
ann-mnist	Review a simple implementation of ANN for MNIST using Keras.
conv-nets	Learn about Convolutional Neural Networks (CNNs) with Keras.
conv-net-1	Recognize handwritten digits from MNIST using Keras – Part 1.
conv-net-2	Recognize handwritten digits from MNIST using Keras – Part 2.
keras-models	Use pre-trained models such as VGG16, VGG19, ResNet50, and Inception v3 with Keras.
auto-encoders	Learn about Autoencoders with Keras.
rnn-lstm	Learn about Recurrent Neural Networks (RNNs) with Keras.
lstm-sentence-gen	Learn about RNNs using Long Short Term Memory (LSTM) networks with Keras.

deep-learning-misc

Notebook	Description
deep-dream	Caffe-based computer vision program which uses a convolutional neural network to find and enhance patterns in images.

scikit-learn

IPython Notebook(s) demonstrating scikit-learn functionality.

Notebook	Description
intro	Intro notebook to scikit-learn. Scikit-learn adds Python support for large, multi-dimensional arrays and matrices, along with a large library of high-level mathematical functions to operate on these arrays.
knn	Implement k-nearest neighbors in scikit-learn.
linear-reg	Implement linear regression in scikit-learn.
svm	Implement support vector machine classifiers with and without kernels in scikit-learn.
random-forest	Implement random forest classifiers and regressors in scikit-learn.
k-means	Implement k-means clustering in scikit-learn.
pca	Implement principal component analysis in scikit-learn.
gmm	Implement Gaussian mixture models in scikit-learn.
validation	Implement validation and model selection in scikit-learn.

statistical-inference-scipy

IPython Notebook(s) demonstrating statistical inference with SciPy functionality.

Notebook	Description
scipy	SciPy is a collection of mathematical algorithms and convenience functions built on the Numpy extension of Python. It adds significant power to the interactive Python session by providing the user with high-level commands and classes for manipulating and visualizing data.
effect-size	Explore statistics that quantify effect size by analyzing the difference in height between men and women. Uses data from the Behavioral Risk Factor Surveillance System (BRFSS) to estimate the mean and standard deviation of height for adult women and men in the United States.
sampling	Explore random sampling by analyzing the average weight of men and women in the United States using BRFSS data.
hypothesis	Explore hypothesis testing by analyzing the difference of first-born babies compared with others.

pandas

IPython Notebook(s) demonstrating pandas functionality.

Notebook	Description
pandas	Software library written for data manipulation and analysis in Python. Offers data structures and operations for manipulating numerical tables and time series.
github-data-wrangling	Learn how to load, clean, merge, and feature engineer by analyzing GitHub data from the `Viz` repo.
Introduction-to-Pandas	Introduction to Pandas.
Introducing-Pandas-Objects	Learn about Pandas objects.
Data Indexing and Selection	Learn about data indexing and selection in Pandas.
Operations-in-Pandas	Learn about operating on data in Pandas.
Missing-Values	Learn about handling missing data in Pandas.
Hierarchical-Indexing	Learn about hierarchical indexing in Pandas.
Concat-And-Append	Learn about combining datasets: concat and append in Pandas.
Merge-and-Join	Learn about combining datasets: merge and join in Pandas.
Aggregation-and-Grouping	Learn about aggregation and grouping in Pandas.
Pivot-Tables	Learn about pivot tables in Pandas.
Working-With-Strings	Learn about vectorized string operations in Pandas.
Working-with-Time-Series	Learn about working with time series in pandas.
Performance-Eval-and-Query	Learn about high-performance Pandas: eval() and query() in Pandas.

matplotlib

IPython Notebook(s) demonstrating matplotlib functionality.

Notebook	Description
matplotlib	Python 2D plotting library which produces publication quality figures in a variety of hardcopy formats and interactive environments across platforms.
matplotlib-applied	Apply matplotlib visualizations to Kaggle competitions for exploratory data analysis. Learn how to create bar plots, histograms, subplot2grid, normalized plots, scatter plots, subplots, and kernel density estimation plots.
Introduction-To-Matplotlib	Introduction to Matplotlib.
Simple-Line-Plots	Learn about simple line plots in Matplotlib.
Simple-Scatter-Plots	Learn about simple scatter plots in Matplotlib.
Errorbars.ipynb	Learn about visualizing errors in Matplotlib.
Density-and-Contour-Plots	Learn about density and contour plots in Matplotlib.
Histograms-and-Binnings	Learn about histograms, binnings, and density in Matplotlib.
Customizing-Legends	Learn about customizing plot legends in Matplotlib.
Customizing-Colorbars	Learn about customizing colorbars in Matplotlib.
Multiple-Subplots	Learn about multiple subplots in Matplotlib.
Text-and-Annotation	Learn about text and annotation in Matplotlib.
Customizing-Ticks	Learn about customizing ticks in Matplotlib.
Settings-and-Stylesheets	Learn about customizing Matplotlib: configurations and stylesheets.
Three-Dimensional-Plotting	Learn about three-dimensional plotting in Matplotlib.
Geographic-Data-With-Basemap	Learn about geographic data with basemap in Matplotlib.
Visualization-With-Seaborn	Learn about visualization with Seaborn.

numpy

IPython Notebook(s) demonstrating NumPy functionality.

Notebook	Description
numpy	Adds Python support for large, multi-dimensional arrays and matrices, along with a large library of high-level mathematical functions to operate on these arrays.
Introduction-to-NumPy	Introduction to NumPy.
Understanding-Data-Types	Learn about data types in Python.
The-Basics-Of-NumPy-Arrays	Learn about the basics of NumPy arrays.
Computation-on-arrays-ufuncs	Learn about computations on NumPy arrays: universal functions.
Computation-on-arrays-aggregates	Learn about aggregations: min, max, and everything in between in NumPy.
Computation-on-arrays-broadcasting	Learn about computation on arrays: broadcasting in NumPy.
Boolean-Arrays-and-Masks	Learn about comparisons, masks, and boolean logic in NumPy.
Fancy-Indexing	Learn about fancy indexing in NumPy.
Sorting	Learn about sorting arrays in NumPy.
Structured-Data-NumPy	Learn about structured data: NumPy’s structured arrays.

python-data

IPython Notebook(s) demonstrating Python functionality geared towards data analysis.

Notebook	Description
data structures	Learn Python basics with tuples, lists, dicts, sets.
data structure utilities	Learn Python operations such as slice, range, xrange, bisect, sort, sorted, reversed, enumerate, zip, list comprehensions.
functions	Learn about more advanced Python features: Functions as objects, lambda functions, closures, args, *kwargs currying, generators, generator expressions, itertools.
datetime	Learn how to work with Python dates and times: datetime, strftime, strptime, timedelta.
logging	Learn about Python logging with RotatingFileHandler and TimedRotatingFileHandler.
pdb	Learn how to debug in Python with the interactive source code debugger.
unit tests	Learn how to test in Python with Nose unit tests.

kaggle-and-business-analyses

IPython Notebook(s) used in kaggle competitions and business analyses.

Notebook	Description
titanic	Predict survival on the Titanic. Learn data cleaning, exploratory data analysis, and machine learning.
churn-analysis	Predict customer churn. Exercise logistic regression, gradient boosting classifers, support vector machines, random forests, and k-nearest-neighbors. Includes discussions of confusion matrices, ROC plots, feature importances, prediction probabilities, and calibration/descrimination.

spark

IPython Notebook(s) demonstrating spark and HDFS functionality.

Notebook	Description
spark	In-memory cluster computing framework, up to 100 times faster for certain applications and is well suited for machine learning algorithms.
hdfs	Reliably stores very large files across machines in a large cluster.

mapreduce-python

IPython Notebook(s) demonstrating Hadoop MapReduce with mrjob functionality.

Notebook	Description
mapreduce-python	Runs MapReduce jobs in Python, executing jobs locally or on Hadoop clusters. Demonstrates Hadoop Streaming in Python code with unit test and mrjob config file to analyze Amazon S3 bucket logs on Elastic MapReduce. Disco is another python-based alternative.

aws

IPython Notebook(s) demonstrating Amazon Web Services (AWS) and AWS tools functionality.

Also check out:

SAWS: A Supercharged AWS command line interface (CLI).
Awesome AWS: A curated list of libraries, open source repos, guides, blogs, and other resources.

Notebook	Description
boto	Official AWS SDK for Python.
s3cmd	Interacts with S3 through the command line.
s3distcp	Combines smaller files and aggregates them together by taking in a pattern and target file. S3DistCp can also be used to transfer large volumes of data from S3 to your Hadoop cluster.
s3-parallel-put	Uploads multiple files to S3 in parallel.
redshift	Acts as a fast data warehouse built on top of technology from massive parallel processing (MPP).
kinesis	Streams data in real time with the ability to process thousands of data streams per second.
lambda	Runs code in response to events, automatically managing compute resources.

commands

IPython Notebook(s) demonstrating various command lines for Linux, Git, etc.

Notebook	Description
linux	Unix-like and mostly POSIX-compliant computer operating system. Disk usage, splitting files, grep, sed, curl, viewing running processes, terminal syntax highlighting, and Vim.
anaconda	Distribution of the Python programming language for large-scale data processing, predictive analytics, and scientific computing, that aims to simplify package management and deployment.
ipython notebook	Web-based interactive computational environment where you can combine code execution, text, mathematics, plots and rich media into a single document.
git	Distributed revision control system with an emphasis on speed, data integrity, and support for distributed, non-linear workflows.
ruby	Used to interact with the AWS command line and for Jekyll, a blog framework that can be hosted on GitHub Pages.
jekyll	Simple, blog-aware, static site generator for personal, project, or organization sites. Renders Markdown or Textile and Liquid templates, and produces a complete, static website ready to be served by Apache HTTP Server, Nginx or another web server.
pelican	Python-based alternative to Jekyll.
django	High-level Python Web framework that encourages rapid development and clean, pragmatic design. It can be useful to share reports/analyses and for blogging. Lighter-weight alternatives include Pyramid, Flask, Tornado, and Bottle.

misc

IPython Notebook(s) demonstrating miscellaneous functionality.

Notebook	Description
regex	Regular expression cheat sheet useful in data wrangling.
algorithmia	Algorithmia is a marketplace for algorithms. This notebook showcases 4 different algorithms: Face Detection, Content Summarizer, Latent Dirichlet Allocation and Optical Character Recognition.

notebook-installation

anaconda

Anaconda is a free distribution of the Python programming language for large-scale data processing, predictive analytics, and scientific computing that aims to simplify package management and deployment.

Follow instructions to install Anaconda or the more lightweight miniconda.

dev-setup

For detailed instructions, scripts, and tools to set up your development environment for data analysis, check out the dev-setup repo.

running-notebooks

To view interactive content or to modify elements within the IPython notebooks, you must first clone or download the repository then run the notebook. More information on IPython Notebooks can be found here.

$ git clone https://github.com/donnemartin/data-science-ipython-notebooks.git
$ cd data-science-ipython-notebooks
$ jupyter notebook

Notebooks tested with Python 2.7.x.

credits

Python for Data Analysis: Data Wrangling with Pandas, NumPy, and IPython by Wes McKinney
PyCon 2015 Scikit-learn Tutorial by Jake VanderPlas
Python Data Science Handbook by Jake VanderPlas
Parallel Machine Learning with scikit-learn and IPython by Olivier Grisel
Statistical Interference Using Computational Methods in Python by Allen Downey
TensorFlow Examples by Aymeric Damien
TensorFlow Tutorials by Parag K Mital
TensorFlow Tutorials by Nathan Lintz
TensorFlow Tutorials by Alexander R Johansen
TensorFlow Book by Nishant Shukla
Summer School 2015 by mila-udem
Keras tutorials by Valerio Maggio
Kaggle
Yhat Blog

contributing

Contributions are welcome! For bug reports or requests please submit an issue.

contact-info

Feel free to contact me to discuss any issues, questions, or comments.

Email: donne.martin@gmail.com
Twitter: @donne_martin
GitHub: donnemartin
LinkedIn: donnemartin
Website: donnemartin.com

license

This repository contains a variety of content; some developed by Donne Martin, and some from third-parties. The third-party content is distributed under the license provided by those parties.

The content developed by Donne Martin is distributed under the following license:

I am providing code and resources in this repository to you under an open source license. Because this is my personal repository, the license you receive to my code and resources is from me and not my employer (Facebook).

Copyright 2015 Donne Martin

Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at

   http://www.apache.org/licenses/LICENSE-2.0

Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License