2020-11-30 20:37:06 +08:00
## 数据分析概述
2020-10-03 11:42:04 +08:00
2020-12-14 00:23:35 +08:00
当今世界对信息技术的依赖程度在不断加深，每天都会有大量的数据产生，我们经常会感到数据越来越多，但是要从中发现有价值的信息却越来越难。这里所说的信息，可以理解为对数据集处理之后的结果，是从数据集中提炼出的可用于其他场合的结论性的东西，而**从原始数据中抽取出有价值的信息**的这个过程我们就称之为**数据分析**，它是数据科学工作的一部分。
### 数据分析师的职责和技能栈
我们通常将从事数据分析、数据科学和数据相关产品的岗位都统称为数据分析岗位，但是根据工作性质的不同，又可以分为**数据分析方向**、**数据挖掘方向**、**数据产品方向**和**数据工程方向**。我们通常所说的数据分析师主要是指**业务数据分析师**，很多数据分析师的职业生涯都是从这个岗位开始的，而且这个岗位也是招聘数量最大的岗位。业务数据分析师在公司通常不属于研发部门而**属于运营部门**，所以这个岗位也称为**数据运营**或**商业分析**，通常招聘信息对这个岗位的描述是：
1. 负责各部门相关的报表。
2. 建立和优化指标体系。
3. 监控数据波动和异常，找出问题。
4. 优化和驱动业务，推动数字化运营。
5. 找出潜在的市场和产品的上升空间。
根据上面的描述，作为业务数据分析师，我们的工作不是给领导一个简单浅显的结论，而是结合公司的业务，完成**揪出异常**、**找到原因**、**探索趋势**的工作。所以作为数据分析师， ， ， ， ， ， ； ， ， ， ， ， ， ， ； ， ， ，
以下是我总结的数据分析师的技能栈，仅供参考。
1. 计算机科学（数据分析工具、编程语言、数据库、……）
2. 数学和统计学（数据思维、统计思维）
3. 人工智能（机器学习算法）
4. 业务理解能力（沟通、表达、经验）
5. 总结和表述能力（ ）
### 数据分析的流程
2020-12-24 12:04:10 +08:00
我们提到数分析这个词很多时候可能指的都是**狭义的数据分析**，这类数据分析主要目标就是生成可视化报表并通过这些报表来洞察业务中的问题。**广义的数据分析**还包含了数据挖掘的部分，不仅要通过数据实现对业务的监控和分析，还要利用机器学习算法，找出隐藏在数据背后的知识，并利用这些知识为将来的决策提供支撑。简单的说，**一个完整的数据分析应该包括基本的数据分析和深入的数据挖掘两个部分**。
2020-12-14 00:23:35 +08:00
2020-12-24 12:04:10 +08:00
基本的数据分析工作一般包含以下几个方面的内容，当然因为行业和工作内容的不同会略有差异。
1. 确定目标（输入）：理解业务，确定指标口径
2. 获取数据：数据库、电子表格、三方接口、网络爬虫、开放数据集、……
3. 清洗数据：缺失值处理、异常值处理、格式化处理、数据变换、归一化、离散化、……
4. 探索数据：运算、统计、分组、聚合、可视化（趋势、变化、分布等）、……
5. 数据报告（输出）：数据发布，工作成果总结汇报
6. 分析洞察（后续）：数据监控、发现趋势、洞察异常、……
深入的数据挖掘工作应该包含一下几个方面的内容，当然因为行业和工作内容的不同会略有差异。
1. 确定目标（输入）：理解业务，明确挖掘目标
2. 数据准备：数据采集、数据描述、数据探索、质量判定、……
3. 数据加工：提取数据、清洗数据、数据变换、归一化、离散化、特殊编码、降维、特征选择、……
4. 数据建模：模型比较、模型选择、算法应用、……
5. 模型评估：交叉检验、参数调优、结果评价、……
6. 模型部署（输出）：模型落地，业务改进，运营监控、报告撰写
2020-12-14 00:23:35 +08:00
### 数据分析相关库
使用Python从事数据科学相关的工作是一个非常棒的选择， ， （ ） （ ： ） ， ， ，
#### 三大神器
1. [NumPy ](https://numpy.org/ )：支持常见的数组和矩阵操作，通过`ndarray`类实现了对多维数组的封装， ， ，
2. [Pandas ](https://pandas.pydata.org/ )： ， ， ， ，
3. [Matplotlib ](https://matplotlib.org/ )： ， ， ，
#### 其他相关库
1. [SciPy ](https://scipy.org/ )： ， ，
2. [Seaborn ](https://seaborn.pydata.org/ )： ， ， ， ，
3. [Scikit-learn ](https://scikit-learn.org/ )： ， ， ， ： （ ） （ ）
4. [Statsmodels ](https://www.statsmodels.org/stable/index.html )：包含了经典统计学和经济计量学算法的库。
### 安装和使用Anaconda
如果希望快速开始使用Python处理数据科学相关的工作， ， ， ， ， ， ， ，
对于个人用户来说， （ ） ， ， （ ） ， ， ， ， ，
可以通过Anaconda官网提供的下载链接选择适合自己操作系统的安装程序， ， ，
完成安装后， ， ，
2020-12-20 17:30:49 +08:00
对于Windows用户， （ ， ） ，
#### conda命令
如果希望使用conda工具来管理依赖项或者创建项目的虚拟环境， ， ，
1. 版本和帮助信息。
- 查看版本：`conda -V`或`conda --version`
- 获取帮助：`conda -h`或`conda --help`
- 相关信息：`conda list`
2. 虚拟环境相关。
- 显示所有虚拟环境：`conda env list`
- 创建虚拟环境：`conda create --name venv`
- 指定Python版本创建虚拟环境：
- 指定Python版本创建虚拟环境并安装指定依赖项：
- 通过克隆现有虚拟环境的方式创建虚拟环境：`conda create --name venv2 --clone venv`
- 分享虚拟环境并重定向到指定的文件中：`conda env export > environment.yml`
- 通过分享的虚拟环境文件创建虚拟环境：`conda env create -f environment.yml`
- 激活虚拟环境：`conda activate venv`
- 退出虚拟环境：`conda deactivate`
- 删除虚拟环境：`conda remove --name venv --all`
> **说明**：上面的命令中，`venv`和`venv2`是虚拟环境文件夹的名字，可以将其替换为自己喜欢的名字，但是**强烈建议**使用英文且不要出现空格或其他特殊字符。
3. 包（三方库或工具）管理。
- 查看已经安装的包：`conda list`
- 搜索指定的包：`conda search matplotlib`
- 安装指定的包：`conda install matplotlib`
- 更新指定的包：`conda update matplotlib`
- 移除指定的包：`conda remove matplotlib`
> **说明**：在搜索、安装和更新软件包时，默认会连接到官方网站进行操作，如果觉得速度不给力，可以将默认的官方网站替换为国内的镜像网站，推荐使用清华大学的开源镜像网站。将默认源更换为国内镜像的命令是：`conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ `。如果需要换回默认源，可以使用命令`conda config --remove-key channels`。
2020-12-14 00:23:35 +08:00
### 使用Notebook
#### 安装和启动Notebook
2020-12-20 17:30:49 +08:00
如果已经安装了Anaconda， （ ） ，
对于安装了Python环境但是没有安装Anaconda的用户， ， （ ） ，
2020-12-14 00:23:35 +08:00
2020-12-20 22:01:06 +08:00
安装Notebook：
2020-12-14 00:23:35 +08:00
```Bash
pip install jupyter
```
2020-12-20 22:01:06 +08:00
安装三大神器：
```Bash
pip install numpy pandas matplotlib
```
运行Notebook：
2020-12-14 00:23:35 +08:00
```Bash
jupyter notebook
```
Notebook是基于网页的用于交互计算的应用程序， ， ， ， ， ， ， ，
首先， ，
接下来，我们就可以编写代码、撰写文档和运行程序啦，如下图所示。
#### Notebook使用技巧
如果使用Python做工程化的项目开发， ， ， ， ， ， ， ， ： ，
下面我为大家介绍一些Notebook的使用技巧，
1. 自动补全。在使用Notebook编写代码时，
2. 获得帮助。在使用Notebook时， （ ） ，
3. 搜索命名。如果只记得一个类或一个函数名字的一部分，可以使用通配符`*`并配合`?`进行搜索，如下所示。
4. 调用命令。可以在Notebook中使用`!`后面跟系统命令的方式来执行系统命令。
5. 魔法指令。Notebook中有很多非常有趣且有用的魔法指令，
常用的魔法指令有：
| 魔法指令 | 功能说明 |
| ------------------------------------------- | ------------------------------------------ |
| `%pwd` | 查看当前工作目录 |
| `%ls` | 列出当前或指定文件夹下的内容 |
| `%cat` | 查看指定文件的内容 |
| `%hist` | 查看输入历史 |
| `%matplotlib inline` | 设置在页面中嵌入matplotlib输出的统计图表 |
| `%config Inlinebackend.figure_format='svg'` | 设置统计图表使用SVG格式（ ）
| `%run` | 运行指定的程序 |
| `%load` | 加载指定的文件到单元格中 |
| `%quickref` | 显示IPython的快速参考 |
| `%timeit` | 多次运行代码并统计代码执行时间 |
| `%prun` | 用`cProfile.run`运行代码并显示分析器的输出 |
| `%who` / `%whos` | 显示命名空间中的变量 |
| `%xdel` | 删除一个对象并清理所有对它的引用 |
6. 快捷键。Notebook中的很多操作可以通过快捷键来实现， ， ，
命令模式下的快捷键：
| 快捷键 | 功能说明 |
| ------------------------------- | -------------------------------------------- |
| Alt + Enter（ ）
| Shift + Enter | 运行当前单元格并选中下方的单元格 |
| Ctrl + Enter（ ）
| j / k、Shift + j / Shift + k | 选中下方/上方单元格、连续选中下方/上方单元格 |
| a / b | 在下方/上方插入新的单元格 |
| c / x | 复制单元格 / 剪切单元格 |
| v / Shift + v | 在下方/上方粘贴单元格 |
| dd / z | 删除单元格 / 恢复删除的单元格 |
| l / Shift + l | 显示或隐藏当前/所有单元格行号 |
| ii / 00 | 中断/重启Notebook内核 |
| Space / Shift + Space | 向下/向上滚动页面 |
编辑模式下的快捷键：
| 快捷键 | 功能说明 |
| ------------------------------------------------ | -------------------------------------- |
| Shift + Tab | 获得提示信息 |
| Ctrl + ]（ ） （ ）
| Alt + Enter（ ）
| Shift + Enter | 运行当前单元格并选中下方的单元格 |
| Ctrl + Enter（ ）
| Ctrl + Left / Right（ ）
| Ctrl + Up / Down（ ）
| Up / Down | 光标上移/下移一行或移到上/下一个单元格 |
> **温馨提示**：如果记不住这些快捷键也没有关系，在命令模式下按`h`键可以打开Notebook的帮助系统， ， ，
>
> 
### 补充知识
2020-12-20 18:03:39 +08:00
> **温馨提示**： ， ， ，
2020-12-20 17:46:14 +08:00
2020-12-14 00:23:35 +08:00
#### 描述型统计
1. 集中趋势
- **众数**（ ） ： ， ，
- **均值**（ ） ： ， ， ， ， ，
2020-12-20 17:30:49 +08:00
算术平均值：$\bar{x}=\frac{\sum_{i=1}^{n}x_{i}}{n}=\frac{x_{1}+x_{2}+\cdots +x_{n}}{n}$
几何平均值：$\left(\prod_{i=1}^{n}x_{i}\right)^{\frac{1}{n}}={\sqrt[{n}]{x_{1}x_{2} \cdots x_{n}}}$
- **分位数**： ， （ ， ） ， ， （ ） （ ）
2020-12-24 12:04:10 +08:00
- 中位数：当数据量$n$是奇数时，${Q}=x_{\frac{n+1}{2}}$，当数据量$n$是偶数时，$Q=(x_{\frac{n}{2}} + x_{{\frac{n}{2}}+1}) / 2$。
2020-12-20 17:30:49 +08:00
- 四分位数：
2020-12-20 17:46:14 +08:00
** 第一四分位数**（ ，
2020-12-20 17:30:49 +08:00
2020-12-20 22:01:06 +08:00
** 第二四分位数**（ ，
2020-12-20 17:30:49 +08:00
2020-12-20 17:46:14 +08:00
** 第三四分位数**（ ，
2020-12-20 17:30:49 +08:00
** 四分位距离**（ ， ） ，
在实际工作中，我们经常通过四分位数再配合[箱线图](https://zhuanlan.zhihu.com/p/110580568)来发现异常值。例如，小于$Q_1 - 1.5 \times IQR$的值或大于$Q3 + 1.5 \times IQR$的值可以视为普通异常值，而小于$Q_1 - 3 \times IQR$的值或大于$Q3 + 3 \times IQR$的值通常视为极度异常值。这种检测异常值的方法跟[“3西格玛法则”](https://zh.wikipedia.org/wiki/68%E2%80%9395%E2%80%9399.7%E5%8E%9F%E5%89%87)的道理是一致的，如下图所示。
2020-12-14 00:23:35 +08:00
2. 离散趋势
2020-12-20 17:30:49 +08:00
- **极值**： （ ） （ ） ，
- **极差**（ ） ： ， ，
- **方差**（ ） ： ， ， ， ， ； ， ，
- **标准差**（ ） ： ，
- **分位差**：分位数的差值，如上面提到的四分位距离。
2020-12-14 00:23:35 +08:00
3. 分布
- **峰态**：峰态就是概率分布曲线的峰值高低，是尖峰、平顶峰，还是正态峰。
- **偏度**：偏度就是峰值与平均值的偏离程度，是左偏还是右偏。
#### 推理性统计
2020-12-20 17:30:49 +08:00
1. 基本概念
- 随机试验：在相同条件下对某种随机现象进行观测的试验。随机试验满足三个特点：
- 可以在相同条件下重复的进行。
- 每次试验的结果不止一个，事先可以明确指出全部可能的结果。
- 重复试验的结果以随机的方式出现（事先不确定会出现哪个结果）。
- 随机变量：如果$X$指定给概率空间$S$中每一个事件$e$有一个实数$X(e)$，同时针对每一个实数$r$都有一个事件集合$A_r$与其相对应，其中$A_r=\{e: X(e) \le r\}$，那么$X$被称作随机变量。从这个定义看出，$X$的本质是一个实值函数，以给定事件为自变量的实值函数，因为函数在给定自变量时会产生因变量，所以将$X$称为随机变量。
- 概率质量函数/概率密度函数：概率质量函数是描述离散型随机变量为特定取值的概率的函数，通常缩写为**PMF**。概率密度函数是描述连续型随机变量在某个确定的取值点可能性的函数，通常缩写为**PDF**。二者的区别在于，概率密度函数本身不是概率，只有对概率密度函数在某区间内进行积分后才是概率。
2. 概率分布
2020-12-14 00:23:35 +08:00
- 离散型分布：如果随机发生的事件之间是毫无联系的，每一次随机事件发生都是独立的、不连续的、不受其他事件影响的，那么这些事件的概率分布就属于离散型分布。
2020-12-20 19:08:04 +08:00
- 二项分布（ ） ：
2020-12-20 17:30:49 +08:00
- 泊松分布（ ） ： ：
2020-12-14 00:23:35 +08:00
- 连续型分布：
2020-12-21 21:54:14 +08:00
- 均匀分布（ ） ： & {a \leq x \leq b} \\ {0} \quad & {\mbox{other}}\end{cases}$，则称$X$服从$[a,b]$上的均匀分布，记作$X\sim U[a,b]$。
- 指数分布（ ） ： & {x \ge 0} \\ {0} \quad & {x \lt 0} \end{cases}$，则称$X$服从参数为$\lambda$的指数分布，记为$X \sim Exp(\lambda)$。指数分布可以用来表示独立随机事件发生的时间间隔，比如旅客进入机场的时间间隔、客服中心接入电话的时间间隔、知乎上出现新问题的时间间隔等等。指数分布的一个重要特征是无记忆性（无后效性），这表示如果一个随机变量呈指数分布，它的条件概率遵循：$P(T \gt s+t\ |\ T \gt t)=P(T \gt s), \forall s,t \ge 0$。
2020-12-20 17:46:14 +08:00
- 正态分布（ ） ： （ ） ， ，
2020-12-20 17:30:49 +08:00
- 伽马分布（ ） ： （
- 卡方分布（ ） ： （ ， ） ，
3. 大数定律：样本数量越多，则其算术平均值就有越高的概率接近期望值。
- 弱大数定律（辛钦定理）：样本均值依概率收敛于期望值，即对于任意正数$\epsilon$，有：$\lim_{n \to \infty}P(|\bar{X_n}-\mu|>\epsilon)=0$。
- 强大数定律： ， ：
2020-12-14 00:23:35 +08:00
2020-12-20 17:30:49 +08:00
4. 中心极限定理：如果统计对象是大量独立的随机变量，那么这些变量的平均值分布就会趋向于正态分布，不管原来它们的概率分布是什么类型，即：$X_1, X_2, ..., X_n$是一组独立同分布的随机变量，且有$E(x_i)=\mu, D(X_i)=\sigma ^2$，当$n$足够大时，均值$\bar{X}=\frac{\sum_i^nX_i}{n}$的分布接近于$N(\mu,\sigma ^2/n)$正态分布，如果对$\bar{X}$进行标准化处理，可以得到$X'=\frac{\bar{X} - \mu}{\sigma / \sqrt n}$标准正态分布。
2020-12-14 00:23:35 +08:00
2020-12-20 17:30:49 +08:00
5. 假设检验
2020-12-14 00:23:35 +08:00
2020-12-20 17:30:49 +08:00
假设检验就是通过抽取样本数据，并且通过**小概率反证法**去验证整体情况的方法。假设检验的核心思想是小概率反证法（ ， ， ） ， （ ， ） ， ， ， ， ， ， （ ） ， ，
2020-12-14 00:23:35 +08:00
2020-12-20 17:30:49 +08:00
假设检验会存在两种错误情况，一种称为“拒真”，一种称为“取伪”。如果原假设是对的，但你拒绝了原假设，这种错误就叫作“拒真”，这个错误的概率也叫作显著性水平$\alpha$，或称为容忍度；如果原假设是错的，但你承认了原假设，这种错误就叫作“取伪”，这个错误的概率我们记为$\beta$。
2020-12-14 00:23:35 +08:00
2020-12-20 17:30:49 +08:00
6. 条件概率和贝叶斯定理
2020-12-14 00:23:35 +08:00
2020-12-20 17:30:49 +08:00
** 条件概率**是指事件A在事件B发生的条件下发生的概率， ， ： ，
2020-12-14 00:23:35 +08:00
2020-12-20 17:30:49 +08:00
事件A在事件B已发生的条件下发生的概率， ， ，
2020-12-14 00:23:35 +08:00
2020-12-20 17:30:49 +08:00
- $P(A|B)$是已知B发生后， ，
- $P(A)$是A的先验概率（ ） ，
- $P(B|A)$是已知A发生后， ，
- $P(B)$是B的先验概率。
2020-12-14 00:23:35 +08:00
2020-12-20 17:30:49 +08:00
按照上面的描述，贝叶斯定理可以表述为：`后验概率 = (似然性 * 先验概率) / 标准化常量`，简单的说就是后验概率与先验概率和相似度的乘积成正比。
2020-12-14 00:23:35 +08:00
描述性统计通常用于研究表象，将现象用数据的方式描述出来；推理性统计通常用于推测本质，也就是你看到的表象的东西有多大概率符合你对隐藏在表象后的本质的猜测。
