探索性数据分析 (Exploratory Data Analysis | EDA)

探索性数据分析是拿到原始数据后,通过技术手段帮助自己更好的理解数据、提取出「好特征」、建立初步模型的过程。

本文将介绍数据的分类方式,以及不同类型的数据如何可视化的具体方法。

什么是探索性数据分析?

说到篮球,大家都知道身高、臂展是运动员的关键特征。

那手球呢?相信大部分人都说不出来。

遇到自己不熟悉的领域,需要快速对陌生领域有一定的理解。

有2种方法来帮助我们理解陌生领域:

  1. 咨询业内人士。资深的业内人士会传授一些他们的经验。

  2. 去研究一下陌生领域的数据。我们可以把手球运动员的身体数据和成绩数据拿过来做分析,看看最优秀的手球运动员都有哪些特点。在没有任何行业经验的情况下,通过对数据的洞察,也能有一些发现。

上面的第二条路就是:探索性数据分析 | Exploratory Data Analysis | EDA

探索性数据分析就是利用各种技术手段(大部分都是利用数据可视化)探索数据内部结构和规律的一种数据分析方法和理念。

探索性数据分析的目的是尽可能是洞察数据集、发现数据的内部结构、提取重要的特征、检测异常值、检验基本假设、建立初步的模型。

探索性数据分析的3步方法

探索性数据分析的过程大致分为3步:

  1. 数据分类

  2. 数据可视化

  3. 洞察数据

第一步:数据分类

当我们拿到数据后,第一步就是把这些数据进行分类,然后用不同方法来处理不同类型的数据。

数据由粗到细可以按照下面的方式来分类:

结构化数据 VS 非结构化数据

结构化数据:能够用表格来组织的数据都算是结构化的数据。

例如:Excel里的数据、MySQL里的数据…

非结构化数据:非表格形式组织的都是。

例如:文本、图片、视频…

定量数据 VS 定性数据

定量数据:数值类型,衡量某样东西的数量。

例如:1985

定性数据:类别,描述某样东西的性质。

例如:80后

数据的4个等级

定类等级(norminal level):是数据的第一个等级,其结构最弱。只需要按照名称来分类。

例如:血型(A,B,AB,O)、姓名、颜色

定序等级(ordinal level):定序等级在定类等级的基础上加了自然排序,这样我们就可以对不同数据进行比较。

例如:餐厅的评星,公司的考核等级

定距等级(interval level):定距等级一定是数值类型的,并且这些数值不仅可以用来排序,还可以用来加减。

例如:华氏度、摄氏度(温度有负数,不可以进行乘除运算)

定比等级(ratio level):在定距等级的基础上,加入了绝对零点,不但可以做加减的运算,还可以做乘除的运算。

例如:金钱、重量

第二步:数据可视化

为了更好的洞察数据,我们可以将数据可视化,从而更好的观察数据的特点。

常用的数据可视化有下面几种:

上面的4个数据等级需要对应不同的可视化方法,下面整理了一个表格,可以帮助大家更好的选择可视化的方案。

下面是一些基础的可视化方案,在实际应用中,会有更复杂的,组合图表可以使用。

用。

数据等级

属性

描述性统计

图表

定类

离散、无序

频率占比、众数

条形图、饼图

定序

有序类别、比较

频率、众数、中位数、百分位数

条形图、饼图

定距

数字差别有意义

频率、众数、中位数、均值、标准差

条形图、饼图、箱线图

定比

连续

均值、标准差

条形图、曲线图、饼图、箱线图

第三步:洞察数据

数据的可视化可以帮助我们更好的洞察数据,我们可以更高效的发现哪些数据更重要,不同数据之间可能存在的关系,哪些数据会相互影响…

之所以叫探索性数据分析,就是没什么固定的套路,所以这一步没什么好讲的。

总结

探索性数据分析就是利用各种技术手段(大部分都是利用数据可视化)探索数据内部结构和规律的一种数据分析方法和理念。

探索性数据分析的过程大致分为3步:

  1. 数据分类

  2. 数据可视化

  3. 洞察数据

License:  CC BY 4.0

©2024 AI全书. Some rights reserved.