jackfrued
/
Python-100-Days
mirror of https://github.com/jackfrued/Python-100-Days.git
1
0
Fork 0
Code Issues Packages Projects Releases Wiki Activity

更新README.md文件

pull/820/head
jackfrued 2021-10-07 23:34:48 +08:00
parent 2abc61c20f
commit 2d5c4b5c2e
4 changed files with 62 additions and 60 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

39
Day66-80/78.方差分析.md → Day66-80/78.方差分析和参数估计.md
View File

@ -1,6 +1,8 @@
## 方差分析
## 方差分析和参数估计
### 基本概念
### 方差分析
#### 基本概念
在产品运营中，我们会遇到各种需要评估运营效果的场景，包括促活的活动是否起到作用、A/B 测试的策略有无成效等等。具体例如，产品升级前的平均 DAU 是 155 万，产品升级后的平均 DAU 是 157 万，那么如何判断 DAU 提升的 2 万是正常的波动，还是升级带来的效果呢？对比同一组数据在实施某些策略前后的数据变化，判断数据波动是不是某一因素导致的，这种方法我们称之为方差分析。方差分析通常缩写为 ANOVA（Analysis of Variance），也叫“F 检验”，用于两个及两个以上分组样本的差异性检验。简单的说，**分析差异的显著性是否明显的方法就是方差分析**。
@ -28,7 +30,7 @@
综上所述，如果上面三个分组的用户购买率平均值不在中线（整体购买率）左右，而是有明显的偏高或偏低，并且该组内的每个转化率都紧紧围绕在该组购买率平均值的附近（即组内方差很小）。那么我们就可以断定：该组的购买率与整体不一致，是该组对应优惠金额的影响造成的。
### 定量分析
#### 定量分析
如果要进行定量分析，可以使用 F 检验值和 F crit 临界值这两个指标。F 检验值用来精确表达这几组差异大小的，F crit临界值是一个判断基线：
@ -41,7 +43,7 @@
上图是用 Excel 得出的 A、B、C 三组的方差分析结果，如图所示 F < F crit，所以从定量分析角度，可以判定优惠金额不会对购买率产生影响。
### 实施方法
#### 实施方法
实施方差分析可以分为以下三步走：
@ -66,7 +68,7 @@
> **练习**：打开“方差分析练习.xlsx”文件，完成练习1。
### 多因素方差分析
#### 多因素方差分析
上面的案例是针对一种策略来分析效果。我们把这种形式的方差分析叫作单因素方差分析，实际工作中，我们可能需要研究多种策略（例如运营中的渠道、活动、客群等）对结果的影响，我们称之为多因素方差分析。例如我们会在多个运营渠道上安排多种运营活动，评价各个渠道的转化率。此时，影响转化率的因素有渠道和活动两个因素，我们可以使用“无重复双因素方差分析”来检查数据。
@ -74,7 +76,7 @@
<img src="https://gitee.com/jackfrued/mypic/raw/master/20210714130853.png" width="75%">
### 应用场景
#### 应用场景
工作中遇到以下两类场景就可以使用方差分析：
@ -83,3 +85,28 @@
<img src="https://gitee.com/jackfrued/mypic/raw/master/20210714131318.png" width="85%">
### 参数估计
在产品运营的工作中，数据分析常会遭遇诸多非常让人困扰的情况，例如：产品运营面对的数据量动辄百万级、千万级，带来的就是分析速度急剧下降，跑个数等一两天时间已经是很理想情况；另外，在很多场景下，我们都只能拿到部分数据（样本），而无法获取全量数据（总体）。在这种情况下我们就必须通过分析非常小量样本的特征，再用这些特征去评估海量总体数据的特征，可以称之为**样本检验**。
**推断型统计的核心就是用样本推测总体**。在实际生产环境中，可能无法获得所有的数据，或者即便获取了所有的数据，但是没有足够的资源来分析所有的数据，在这种情况下，我们都需要用非常小量的样本特征去评估总体数据的特征，这其中的一项工作就是参数估计。
参数估计应用的场景非常的多，例如：
1. 在产品侧，我们可以用参数估计的方式评估A/B测试的效果。
2. 在运营侧，我们可以用参数估计的方式优化活动配置和推荐策略。
3. 在市场侧，我们可以用参数估计的方式制定广告投放策略。
#### 实施步骤
1. 确定分析的置信水平
2. 确定估计的参数类型
3. 计算参数估计的区间
- 数值型指标：$ A = z \times 样本标准差 / \sqrt{样本数量} $，其中 $ z $ 的值可以通过查表得到，如果置信水平选择95%，那么 $ z $ 的值就是1.96。大部分运营指标都是数值型指标，例如DAU、ARPU、转化率等。
- 占比型指标：$ A = z \times \sqrt{占比 \times (1 - 占比) / 样本数量} $，$ z $ 值同上。占比型指标如性别占比、渠道占比、品类占比等。
最终得到的估计区间就是：$ [样本均值 - A, 样本均值 + A] $。

25
Day66-80/79.参数估计.md
View File

@ -1,25 +0,0 @@
## 参数估计
在产品运营的工作中，数据分析常会遭遇诸多非常让人困扰的情况，例如：产品运营面对的数据量动辄百万级、千万级，带来的就是分析速度急剧下降，跑个数等一两天时间已经是很理想情况；另外，在很多场景下，我们都只能拿到部分数据（样本），而无法获取全量数据（总体）。在这种情况下我们就必须通过分析非常小量样本的特征，再用这些特征去评估海量总体数据的特征，可以称之为**样本检验**。
**推断型统计的核心就是用样本推测总体**。在实际生产环境中，可能无法获得所有的数据，或者即便获取了所有的数据，但是没有足够的资源来分析所有的数据，在这种情况下，我们都需要用非常小量的样本特征去评估总体数据的特征，这其中的一项工作就是参数估计。
参数估计应用的场景非常的多，例如：
1. 在产品侧，我们可以用参数估计的方式评估A/B测试的效果。
2. 在运营侧，我们可以用参数估计的方式优化活动配置和推荐策略。
3. 在市场侧，我们可以用参数估计的方式制定广告投放策略。
### 实施步骤
1. 确定分析的置信水平
2. 确定估计的参数类型
3. 计算参数估计的区间
- 数值型指标：$ A = z \times 样本标准差 / \sqrt{样本数量} $，其中 $ z $ 的值可以通过查表得到，如果置信水平选择95%，那么 $ z $ 的值就是1.96。大部分运营指标都是数值型指标，例如DAU、ARPU、转化率等。
- 占比型指标：$ A = z \times \sqrt{占比 \times (1 - 占比) / 样本数量} $，$ z $ 值同上。占比型指标如性别占比、渠道占比、品类占比等。
最终得到的估计区间就是：$ [样本均值 - A, 样本均值 + A] $。

2
Day66-80/79.聚类和降维.md 100644
View File

@ -0,0 +1,2 @@
### 聚类和降维

56
README.md
View File

@ -348,61 +348,59 @@ Python在以下领域都有用武之地。
- JavaScript逆向工程
- 使用Selenium获取动态内容
### Day66~70 - [数据分析](./Day66-70)
### Day66~80 - [数据分析](./Day66-80)
#### Day66 - [数据分析概述](./Day66-70/66.数据分析概述.md)
#### Day66 - [数据分析概述](./Day66-80/66.数据分析概述.md)
#### Day67 - [NumPy的应用](./Day66-70/67.NumPy的应用.md)
#### Day67 - [环境准备](./Day66-80/67.环境准备.md)
#### Day68 - [Pandas的应用](./Day66-70/68.Pandas的应用.md)
#### Day68 - [NumPy的应用-1](./Day66-80/68.NumPy的应用-1.md)
#### Day69 - [数据可视化](./Day66-70/69.数据可视化.md)
#### Day69 - [NumPy的应用-2](./Day66-80/69.NumPy的应用-2.md)
#### Day70 - [数据分析项目实战](./Day66-70/70.数据分析项目实战.md)
#### Day70 - [Pandas的应用-1](./Day66-80/70.Pandas的应用-1.md)
### Day71~85 - [机器学习和深度学习](./Day71-85)
#### Day71 - [Pandas的应用-2](./Day66-80/71.Pandas的应用-2.md)
#### Day71 - [机器学习基础](./Day71-85/71.机器学习基础.md)
#### Day72 - [Pandas的应用-3](./Day66-80/72.Pandas的应用-3.md)
#### Day72 - [k最近邻分类](./Day71-85/72.k最近邻分类.md)
#### Day73 - [Pandas的应用-4](./Day66-80/73.Pandas的应用-4.md)
#### Day73 - [决策树](./Day71-85/73.决策树.md)
#### Day74 - [Pandas的应用-5](./Day66-80/74.Pandas的应用-5.md)
#### Day74 - [贝叶斯分类](./Day71-85/74.贝叶斯分类.md)
#### Day75 - [数据可视化](./Day66-80/75.数据可视化.md)
#### Day75 - [支持向量机](./Day71-85/75.支持向量机.md)
#### Day76 - [概率基础](./Day66-80/76.概率基础.md)
#### Day76 - [K-均值聚类](./Day71-85/76.K-均值聚类.md)
#### Day77 - [相关和回归](./Day66-80/77.相关和回归.md)
#### Day77 - [回归分析](./Day71-85/77.回归分析.md)
#### Day78 - [方差分析和参数估计](./Day66-80/78.方差分析和参数估计.md)
#### Day78 - [深度学习入门](./Day71-85/78.深度学习入门.md)
#### Day79 - [聚类和降维](./Day66-80/79.聚类和降维.md)
#### Day79 - [Tensorflow概述](./Day71-85/79.Tensorflow概述.md)
#### Day80 - [数据分析方法论](./Day66-80/80.数据分析方法论.md)
#### Day80 - [Tensorflow实战](./Day71-85/79.Tensorflow实战.md)
### Day81~90 - [机器学习和深度学习](./Day81-90)
#### Day81 - [Kaggle项目实战](./Day71-85/81.Kaggle项目实战.md)
#### Day81 - [机器学习基础](./Day81-90/81.机器学习基础.md)
#### Day82 - [天池大数据项目实战](./Day71-85/82.天池大数据项目实战.md)
#### Day82 - [k最近邻分类](./Day81-90/82.k最近邻分类.md)
#### Day83 - [推荐系统实战-1](./Day71-85/83.推荐系统实战-1.md)
#### Day83 - [决策树](./Day81-90/83.决策树.md)
#### Day84 - [推荐系统实战-2](./Day71-85/84.推荐系统实战-2.md)
#### Day84 - [贝叶斯分类](./Day81-90/84.贝叶斯分类.md)
#### Day85 - [推荐系统实战-3](./Day71-85/85.推荐系统实战-3.md)
#### Day85 - [支持向量机](./Day81-90/85.支持向量机.md)
### Day86~90 - [大数据分析概述](./Day86-90)
#### Day86 - [K-均值聚类](./Day81-90/86.K-均值聚类.md)
#### Day86 - [大数据概述](./Day86-90/86.大数据概述.md)
#### Day87 - [回归分析](./Day81-90/87.回归分析.md)
#### Day87 - [Hive查询](./Day86-90/87.Hive查询.md)
#### Day88 - [深度学习入门](./Day81-90/88.深度学习入门.md)
#### Day88 - [PySpark和离线数据处理](./Day86-90/87.PySpark和离线数据处理.md)
#### Day89 - [Tensorflow概述](./Day81-90/89.Tensorflow概述.md)
#### Day89 - [Flink和流式数据处理](./Day86-90/89.Flink和流式数据处理.md)
#### Day90 - [大数据分析项目实战](./Day86-90/90.大数据分析项目实战.md)
#### Day90 - [Tensorflow实战](./Day81-90/90.Tensorflow实战.md)
### Day91~100 - [团队项目开发](./Day91-100)