更新README.md文件
parent
2abc61c20f
commit
2d5c4b5c2e
|
@ -1,6 +1,8 @@
|
||||||
## 方差分析
|
## 方差分析和参数估计
|
||||||
|
|
||||||
### 基本概念
|
### 方差分析
|
||||||
|
|
||||||
|
#### 基本概念
|
||||||
|
|
||||||
在产品运营中,我们会遇到各种需要评估运营效果的场景,包括促活的活动是否起到作用、A/B 测试的策略有无成效等等。具体例如,产品升级前的平均 DAU 是 155 万,产品升级后的平均 DAU 是 157 万,那么如何判断 DAU 提升的 2 万是正常的波动,还是升级带来的效果呢?对比同一组数据在实施某些策略前后的数据变化,判断数据波动是不是某一因素导致的,这种方法我们称之为方差分析。方差分析通常缩写为 ANOVA(Analysis of Variance),也叫“F 检验”,用于两个及两个以上分组样本的差异性检验。简单的说,**分析差异的显著性是否明显的方法就是方差分析**。
|
在产品运营中,我们会遇到各种需要评估运营效果的场景,包括促活的活动是否起到作用、A/B 测试的策略有无成效等等。具体例如,产品升级前的平均 DAU 是 155 万,产品升级后的平均 DAU 是 157 万,那么如何判断 DAU 提升的 2 万是正常的波动,还是升级带来的效果呢?对比同一组数据在实施某些策略前后的数据变化,判断数据波动是不是某一因素导致的,这种方法我们称之为方差分析。方差分析通常缩写为 ANOVA(Analysis of Variance),也叫“F 检验”,用于两个及两个以上分组样本的差异性检验。简单的说,**分析差异的显著性是否明显的方法就是方差分析**。
|
||||||
|
|
||||||
|
@ -28,7 +30,7 @@
|
||||||
|
|
||||||
综上所述,如果上面三个分组的用户购买率平均值不在中线(整体购买率)左右,而是有明显的偏高或偏低,并且该组内的每个转化率都紧紧围绕在该组购买率平均值的附近(即组内方差很小)。那么我们就可以断定:该组的购买率与整体不一致,是该组对应优惠金额的影响造成的。
|
综上所述,如果上面三个分组的用户购买率平均值不在中线(整体购买率)左右,而是有明显的偏高或偏低,并且该组内的每个转化率都紧紧围绕在该组购买率平均值的附近(即组内方差很小)。那么我们就可以断定:该组的购买率与整体不一致,是该组对应优惠金额的影响造成的。
|
||||||
|
|
||||||
### 定量分析
|
#### 定量分析
|
||||||
|
|
||||||
如果要进行定量分析,可以使用 F 检验值和 F crit 临界值这两个指标。F 检验值用来精确表达这几组差异大小的,F crit临界值是一个判断基线:
|
如果要进行定量分析,可以使用 F 检验值和 F crit 临界值这两个指标。F 检验值用来精确表达这几组差异大小的,F crit临界值是一个判断基线:
|
||||||
|
|
||||||
|
@ -41,7 +43,7 @@
|
||||||
|
|
||||||
上图是用 Excel 得出的 A、B、C 三组的方差分析结果,如图所示 F < F crit,所以从定量分析角度,可以判定优惠金额不会对购买率产生影响。
|
上图是用 Excel 得出的 A、B、C 三组的方差分析结果,如图所示 F < F crit,所以从定量分析角度,可以判定优惠金额不会对购买率产生影响。
|
||||||
|
|
||||||
### 实施方法
|
#### 实施方法
|
||||||
|
|
||||||
实施方差分析可以分为以下三步走:
|
实施方差分析可以分为以下三步走:
|
||||||
|
|
||||||
|
@ -66,7 +68,7 @@
|
||||||
|
|
||||||
> **练习**:打开“方差分析练习.xlsx”文件,完成练习1。
|
> **练习**:打开“方差分析练习.xlsx”文件,完成练习1。
|
||||||
|
|
||||||
### 多因素方差分析
|
#### 多因素方差分析
|
||||||
|
|
||||||
上面的案例是针对一种策略来分析效果。我们把这种形式的方差分析叫作单因素方差分析,实际工作中,我们可能需要研究多种策略(例如运营中的渠道、活动、客群等)对结果的影响,我们称之为多因素方差分析。例如我们会在多个运营渠道上安排多种运营活动,评价各个渠道的转化率。此时,影响转化率的因素有渠道和活动两个因素,我们可以使用“无重复双因素方差分析”来检查数据。
|
上面的案例是针对一种策略来分析效果。我们把这种形式的方差分析叫作单因素方差分析,实际工作中,我们可能需要研究多种策略(例如运营中的渠道、活动、客群等)对结果的影响,我们称之为多因素方差分析。例如我们会在多个运营渠道上安排多种运营活动,评价各个渠道的转化率。此时,影响转化率的因素有渠道和活动两个因素,我们可以使用“无重复双因素方差分析”来检查数据。
|
||||||
|
|
||||||
|
@ -74,7 +76,7 @@
|
||||||
|
|
||||||
<img src="https://gitee.com/jackfrued/mypic/raw/master/20210714130853.png" width="75%">
|
<img src="https://gitee.com/jackfrued/mypic/raw/master/20210714130853.png" width="75%">
|
||||||
|
|
||||||
### 应用场景
|
#### 应用场景
|
||||||
|
|
||||||
工作中遇到以下两类场景就可以使用方差分析:
|
工作中遇到以下两类场景就可以使用方差分析:
|
||||||
|
|
||||||
|
@ -83,3 +85,28 @@
|
||||||
|
|
||||||
<img src="https://gitee.com/jackfrued/mypic/raw/master/20210714131318.png" width="85%">
|
<img src="https://gitee.com/jackfrued/mypic/raw/master/20210714131318.png" width="85%">
|
||||||
|
|
||||||
|
### 参数估计
|
||||||
|
|
||||||
|
在产品运营的工作中,数据分析常会遭遇诸多非常让人困扰的情况,例如:产品运营面对的数据量动辄百万级、千万级,带来的就是分析速度急剧下降,跑个数等一两天时间已经是很理想情况;另外,在很多场景下,我们都只能拿到部分数据(样本),而无法获取全量数据(总体)。在这种情况下我们就必须通过分析非常小量样本的特征,再用这些特征去评估海量总体数据的特征,可以称之为**样本检验**。
|
||||||
|
|
||||||
|
**推断型统计的核心就是用样本推测总体**。在实际生产环境中,可能无法获得所有的数据,或者即便获取了所有的数据,但是没有足够的资源来分析所有的数据,在这种情况下,我们都需要用非常小量的样本特征去评估总体数据的特征,这其中的一项工作就是参数估计。
|
||||||
|
|
||||||
|
参数估计应用的场景非常的多,例如:
|
||||||
|
|
||||||
|
1. 在产品侧,我们可以用参数估计的方式评估A/B测试的效果。
|
||||||
|
2. 在运营侧,我们可以用参数估计的方式优化活动配置和推荐策略。
|
||||||
|
3. 在市场侧,我们可以用参数估计的方式制定广告投放策略。
|
||||||
|
|
||||||
|
#### 实施步骤
|
||||||
|
|
||||||
|
1. 确定分析的置信水平
|
||||||
|
|
||||||
|
2. 确定估计的参数类型
|
||||||
|
|
||||||
|
3. 计算参数估计的区间
|
||||||
|
|
||||||
|
- 数值型指标:$ A = z \times 样本标准差 / \sqrt{样本数量} $,其中 $ z $ 的值可以通过查表得到,如果置信水平选择95%,那么 $ z $ 的值就是1.96。大部分运营指标都是数值型指标,例如DAU、ARPU、转化率等。
|
||||||
|
- 占比型指标:$ A = z \times \sqrt{占比 \times (1 - 占比) / 样本数量} $,$ z $ 值同上。占比型指标如性别占比、渠道占比、品类占比等。
|
||||||
|
|
||||||
|
最终得到的估计区间就是:$ [样本均值 - A, 样本均值 + A] $。
|
||||||
|
|
|
@ -1,25 +0,0 @@
|
||||||
## 参数估计
|
|
||||||
|
|
||||||
在产品运营的工作中,数据分析常会遭遇诸多非常让人困扰的情况,例如:产品运营面对的数据量动辄百万级、千万级,带来的就是分析速度急剧下降,跑个数等一两天时间已经是很理想情况;另外,在很多场景下,我们都只能拿到部分数据(样本),而无法获取全量数据(总体)。在这种情况下我们就必须通过分析非常小量样本的特征,再用这些特征去评估海量总体数据的特征,可以称之为**样本检验**。
|
|
||||||
|
|
||||||
**推断型统计的核心就是用样本推测总体**。在实际生产环境中,可能无法获得所有的数据,或者即便获取了所有的数据,但是没有足够的资源来分析所有的数据,在这种情况下,我们都需要用非常小量的样本特征去评估总体数据的特征,这其中的一项工作就是参数估计。
|
|
||||||
|
|
||||||
参数估计应用的场景非常的多,例如:
|
|
||||||
|
|
||||||
1. 在产品侧,我们可以用参数估计的方式评估A/B测试的效果。
|
|
||||||
2. 在运营侧,我们可以用参数估计的方式优化活动配置和推荐策略。
|
|
||||||
3. 在市场侧,我们可以用参数估计的方式制定广告投放策略。
|
|
||||||
|
|
||||||
### 实施步骤
|
|
||||||
|
|
||||||
1. 确定分析的置信水平
|
|
||||||
|
|
||||||
2. 确定估计的参数类型
|
|
||||||
|
|
||||||
3. 计算参数估计的区间
|
|
||||||
|
|
||||||
- 数值型指标:$ A = z \times 样本标准差 / \sqrt{样本数量} $,其中 $ z $ 的值可以通过查表得到,如果置信水平选择95%,那么 $ z $ 的值就是1.96。大部分运营指标都是数值型指标,例如DAU、ARPU、转化率等。
|
|
||||||
- 占比型指标:$ A = z \times \sqrt{占比 \times (1 - 占比) / 样本数量} $,$ z $ 值同上。占比型指标如性别占比、渠道占比、品类占比等。
|
|
||||||
|
|
||||||
最终得到的估计区间就是:$ [样本均值 - A, 样本均值 + A] $。
|
|
||||||
|
|
|
@ -0,0 +1,2 @@
|
||||||
|
### 聚类和降维
|
||||||
|
|
56
README.md
56
README.md
|
@ -348,61 +348,59 @@ Python在以下领域都有用武之地。
|
||||||
- JavaScript逆向工程
|
- JavaScript逆向工程
|
||||||
- 使用Selenium获取动态内容
|
- 使用Selenium获取动态内容
|
||||||
|
|
||||||
### Day66~70 - [数据分析](./Day66-70)
|
### Day66~80 - [数据分析](./Day66-80)
|
||||||
|
|
||||||
#### Day66 - [数据分析概述](./Day66-70/66.数据分析概述.md)
|
#### Day66 - [数据分析概述](./Day66-80/66.数据分析概述.md)
|
||||||
|
|
||||||
#### Day67 - [NumPy的应用](./Day66-70/67.NumPy的应用.md)
|
#### Day67 - [环境准备](./Day66-80/67.环境准备.md)
|
||||||
|
|
||||||
#### Day68 - [Pandas的应用](./Day66-70/68.Pandas的应用.md)
|
#### Day68 - [NumPy的应用-1](./Day66-80/68.NumPy的应用-1.md)
|
||||||
|
|
||||||
#### Day69 - [数据可视化](./Day66-70/69.数据可视化.md)
|
#### Day69 - [NumPy的应用-2](./Day66-80/69.NumPy的应用-2.md)
|
||||||
|
|
||||||
#### Day70 - [数据分析项目实战](./Day66-70/70.数据分析项目实战.md)
|
#### Day70 - [Pandas的应用-1](./Day66-80/70.Pandas的应用-1.md)
|
||||||
|
|
||||||
### Day71~85 - [机器学习和深度学习](./Day71-85)
|
#### Day71 - [Pandas的应用-2](./Day66-80/71.Pandas的应用-2.md)
|
||||||
|
|
||||||
#### Day71 - [机器学习基础](./Day71-85/71.机器学习基础.md)
|
#### Day72 - [Pandas的应用-3](./Day66-80/72.Pandas的应用-3.md)
|
||||||
|
|
||||||
#### Day72 - [k最近邻分类](./Day71-85/72.k最近邻分类.md)
|
#### Day73 - [Pandas的应用-4](./Day66-80/73.Pandas的应用-4.md)
|
||||||
|
|
||||||
#### Day73 - [决策树](./Day71-85/73.决策树.md)
|
#### Day74 - [Pandas的应用-5](./Day66-80/74.Pandas的应用-5.md)
|
||||||
|
|
||||||
#### Day74 - [贝叶斯分类](./Day71-85/74.贝叶斯分类.md)
|
#### Day75 - [数据可视化](./Day66-80/75.数据可视化.md)
|
||||||
|
|
||||||
#### Day75 - [支持向量机](./Day71-85/75.支持向量机.md)
|
#### Day76 - [概率基础](./Day66-80/76.概率基础.md)
|
||||||
|
|
||||||
#### Day76 - [K-均值聚类](./Day71-85/76.K-均值聚类.md)
|
#### Day77 - [相关和回归](./Day66-80/77.相关和回归.md)
|
||||||
|
|
||||||
#### Day77 - [回归分析](./Day71-85/77.回归分析.md)
|
#### Day78 - [方差分析和参数估计](./Day66-80/78.方差分析和参数估计.md)
|
||||||
|
|
||||||
#### Day78 - [深度学习入门](./Day71-85/78.深度学习入门.md)
|
#### Day79 - [聚类和降维](./Day66-80/79.聚类和降维.md)
|
||||||
|
|
||||||
#### Day79 - [Tensorflow概述](./Day71-85/79.Tensorflow概述.md)
|
#### Day80 - [数据分析方法论](./Day66-80/80.数据分析方法论.md)
|
||||||
|
|
||||||
#### Day80 - [Tensorflow实战](./Day71-85/79.Tensorflow实战.md)
|
### Day81~90 - [机器学习和深度学习](./Day81-90)
|
||||||
|
|
||||||
#### Day81 - [Kaggle项目实战](./Day71-85/81.Kaggle项目实战.md)
|
#### Day81 - [机器学习基础](./Day81-90/81.机器学习基础.md)
|
||||||
|
|
||||||
#### Day82 - [天池大数据项目实战](./Day71-85/82.天池大数据项目实战.md)
|
#### Day82 - [k最近邻分类](./Day81-90/82.k最近邻分类.md)
|
||||||
|
|
||||||
#### Day83 - [推荐系统实战-1](./Day71-85/83.推荐系统实战-1.md)
|
#### Day83 - [决策树](./Day81-90/83.决策树.md)
|
||||||
|
|
||||||
#### Day84 - [推荐系统实战-2](./Day71-85/84.推荐系统实战-2.md)
|
#### Day84 - [贝叶斯分类](./Day81-90/84.贝叶斯分类.md)
|
||||||
|
|
||||||
#### Day85 - [推荐系统实战-3](./Day71-85/85.推荐系统实战-3.md)
|
#### Day85 - [支持向量机](./Day81-90/85.支持向量机.md)
|
||||||
|
|
||||||
### Day86~90 - [大数据分析概述](./Day86-90)
|
#### Day86 - [K-均值聚类](./Day81-90/86.K-均值聚类.md)
|
||||||
|
|
||||||
#### Day86 - [大数据概述](./Day86-90/86.大数据概述.md)
|
#### Day87 - [回归分析](./Day81-90/87.回归分析.md)
|
||||||
|
|
||||||
#### Day87 - [Hive查询](./Day86-90/87.Hive查询.md)
|
#### Day88 - [深度学习入门](./Day81-90/88.深度学习入门.md)
|
||||||
|
|
||||||
#### Day88 - [PySpark和离线数据处理](./Day86-90/87.PySpark和离线数据处理.md)
|
#### Day89 - [Tensorflow概述](./Day81-90/89.Tensorflow概述.md)
|
||||||
|
|
||||||
#### Day89 - [Flink和流式数据处理](./Day86-90/89.Flink和流式数据处理.md)
|
#### Day90 - [Tensorflow实战](./Day81-90/90.Tensorflow实战.md)
|
||||||
|
|
||||||
#### Day90 - [大数据分析项目实战](./Day86-90/90.大数据分析项目实战.md)
|
|
||||||
|
|
||||||
### Day91~100 - [团队项目开发](./Day91-100)
|
### Day91~100 - [团队项目开发](./Day91-100)
|
||||||
|
|
||||||
|
|
Loading…
Reference in New Issue