如何进行数据预处理分析_数据建模的三个步骤

思维导图

1. 数据分析概述

1.1 简介

数据分析：对大量有序或无序的数据进行信息的集中整合、运算提取、展示等操作，通过这些操作找出研究对象的内在规律。
目的：揭示事物运动、变化、发展的规律。
意义：提高系统运行效率、优化系统作业流程、预测未来发展趋势。

1.2 发展历程

数据分析的发展历程的三个阶段：

1.0 商业智能（BI）

通过商业智能，将数据分析人员从大量、简陋的数据图表分析中解放出来，通过数据仓库整合企业数据，采用商业智能（BI, Business Intelligence）报表工具实现美观清晰、模块化、动态更新的数据可视化展示，让管理层或决策者能够基于事实结果做决策。

2.0 大数据分析

随着互联网的发展，全世界2020年产生的数据约为50ZB，而且每年都在增长，传统的商业智能数据分析已经满足不了企业对如此大量、复杂的数据进行处理分析。
企业需要更加强大的数据分析工具，比如大数据开发框架，它能支持企业海量数据运行和分析，结合商业智能报表工具，可以实现对数据的实时监控和展示，并且能够通过对历史数据分析建立相应的预测模型，对未来趋势进行预测。

3.0 数据中台

由于企业不同部门业务不同等的差异，采用的数据处理系统或框架也可能不一样。这样导致企业各部门或不同的系统数据相互独立、隔离，不能实现企业数据真正的互通、互融，使得数据的整体价值难以更好的体现。
互联网行业的人一般都听说过前端和后端（或称前台、后台），中台是什么？前端是直达用户的系统，如门户网站、手机APP、公众号等；后端是业务管理的系统集合，如财务系统、ERP系统及基础设施、存储计算平台等；而中台是与前台、后台对应的概念，中台可以让数据在数据平台和业务系统之间形成一个良性的闭环。
数据中台 是指通过数据技术，对海量数据进行采集、计算、存储、加工，同时统一标准和口径，是一个数据管理体系，内容涉及全局数据仓库规划、规范定义、建模研发、连接萃取、运维监控等。数据中台作为一个整体，输出统一、规范、标准的大数据资产，为企业或客户提供高效服务。
以下是前台、数据中台、后台之间的关系图：

1.3 应用领域

数据分析早已渗透各行业各业，主要包含：互联网、电子商务、金融保险、在线教育、生产制造、生物医疗、交通物流、餐饮外卖、能源、城市管理、体育娱乐等行业。

1.4 开发流程

数据分析开发流程一般分为下面5个阶段，主要包含：数据采集、数据处理、数据建模、数据分析、数据可视化。

数据采集： 数据通常来自于企业内部或外部，企业内部数据可以直接从系统获得，外部数据则需要购买，或者通过爬虫等数据采集工具采集；
数据处理： 获取到的数据往往会包含一些干扰数据、不完整数据，因此一般需要对数据做相应的处理；
数据建模： 不同的业务对数据的需求不同，根据相关业务或战略需求建立相应的数据模型，有针对性进行主题分析；
数据分析： 根据模型中要分析或计算的指标，采用相应的分析方法进行数据分析，得出目标分析结果；
数据可视化： 将数据分析结果进行可视化展示，使其更加方便业务人员或决策者理解。

2. 数据类型

2.1 结构化与非结构化数据

结构化数据： 指以行、列等数据结构模型存储，有严格维度划分或属性标注的数据，如实验表数据、关系型数据库的表记录等都是结构化数据。
非结构化数据： 与结构化数据相对应，比如软件系统产生的日志、一封邮件、HTML网页、一张图片、一段微信聊天记录等。
显然结构化数据更易于做数据分析，很多数据分析模型都只能使用结构化数据，因此遇到非结构化数据时，我们一般会先将非结构化数据转化成结构化数据，再进行数据分析。

2.2 定性与定量数据

定性数据： 指描述事物的属性、类别、特征的数据，不能进行加减乘除等数学计算，一般是字符型，包含汉字、字母、数字、符号等；
定量数据： 指描述事物的数量、大小或多少的数据，可以进行加减乘除等数学计算，一般是数值型，包含整数、浮点数等；

2.3 截面数据与时间序列数据

截面数据（cross section data）： 是在同一时间（时期或时点）截面上搜集的数据。横截面数据不要求统计对象及其范围相同，但要求统计的时间相同，也就是说必须是同一时间截面上的数据。
时间序列数据（time series data）： 是在多个不同时间点上搜集的数据。这类数据反映了某一事物、现象等随时间的变化状态或程度。
面板数据（Panel Data）： 也叫“平行数据”，是指在时间序列上取多个截面，这些截面的样本数据称为面板数据。面板数据是一个m*n的数据矩阵，记载的是n个时间节点上，m个对象的某一数据指标。

3. 数据来源

数据的来源主要分为两大类，企业 外部来源 和 内部来源。

外部来源 ：外包购买、网路爬取、免费开源数据等；
内部来源：销售数据、社交通信数据、考勤数据、财务数据、服务器日志数据等；

常见购买平台：

东湖大数据：提供气象数据、车辆数据、企业数据、征信数据、电商数据、旅游数据等行业数据服务。http://www.chinadatatrading.com/datacustom.html

数据堂：提供智能家居、驾驶、文娱等数据服务。https://www.datatang.com/

IT桔子：提供互联网创业投资项目信息数据库和商业信息服务的公司。https://www.itjuzi.com/

常见开源数据平台：

互联网上的“开放数据”来源，如政府机构、非营利组织和企业免费提供的数据。以下是一些常用的开发数据平台，包括金融财经数据、互联网数据、政府数据等。
开源数据平台网站资源地址：数据分析之数据预处理、分析建模、可视化

4. 数据预处理方法

数据预处理方法主要有： 数据清洗、数据集成、数据规约和数据变换。

4.1 数据清洗

数据清洗(data cleaning) ：是通过填补缺失值、光滑噪声数据，平滑或删除离群点，纠正数据的不一致来达到清洗的目的。

1. 缺失值处理

实际开发获取信息和数据的过程中，会存在各类的原因导致数据丢失和空缺。针对这些缺失值的处理方法，主要是基于变量的分布特性和变量的重要性采用不同的方法。主要分为以下几种：
删除变量： 若变量的缺失率较高（大于80%），覆盖率较低，且重要性较低，可以直接将变量删除；
统计量填充： 若缺失率较低（小于95%）且重要性较低，则根据数据分布的情况用基本统计量填充（最大值、最小值、均值、中位数、众数）进行填充；
插值法填充： 包括随机插值、多重差补法、热平台插补、拉格朗日插值、牛顿插值等；
模型填充： 使用回归、贝叶斯、随机森林、决策树等模型对缺失数据进行预测；
哑变量（虚拟变量）填充： 若变量是离散型，且不同值较少，可转换成哑变量（通常取值0或1）；
总结来看，常用的做法是：先用Python中的pandas.isnull.sum() 检测出变量的缺失比例，考虑删除或者填充，若需要填充的变量是连续型，一般采用均值法和随机差值进行填充，若变量是离散型，通常采用中位数或哑变量进行填充。

2. 噪声处理

噪声（noise） 是被测量变量的随机误差或方差，是观测点和真实点之间的误差。
通常的处理办法：
分箱法： 对数据进行分箱操作，等频或等宽分箱，然后用每个箱的平均数，中位数或者边界值（不同数据分布，处理方法不同）代替箱中所有的数，起到平滑数据的作用；
回归法： 建立该变量和预测变量的回归模型，根据回归系数和预测变量，反解出自变量的近似值。

3. 离群点处理

异常值（离群点）是数据分布的常态，处于特定分布区域或范围之外的数据通常被定义为异常或噪声。异常分为两种：“伪异常”，由于特定的业务运营动作产生，是正常反应业务的状态，而不是数据本身的异常；“真异常”，不是由于特定的业务运营动作产生，而是数据本身分布异常，即离群点。主要有以下检测离群点的方法：
简单统计分析：根据箱线图、各分位点判断是否存在异常，例如Python中pandas的describe函数可以快速发现异常值。
基于绝对离差中位数（MAD）：这是一种稳健对抗离群数据的距离值方法，采用计算各观测值与平均值的距离总和的方法。放大了离群值的影响。
基于距离： 通过定义对象之间的临近性度量，根据距离判断异常对象是否远离其他对象，缺点是计算复杂度较高，不适用于大数据集和存在不同密度区域的数据集
基于密度： 离群点的局部密度显著低于大部分近邻点，适用于非均匀的数据集
基于聚类： 利用聚类算法，丢弃远离其他簇的小簇。

4. 不一致数据处理

实际数据生产过程中，由于一些人为因素或者其他原因，记录的数据可能存在不一致的情况，需要对这些不一致数据在分析前需要进行清理。例如，数据输入时的错误可通过和原始记录对比进行更正，知识工程工具也可以用来检测违反规则的数据。
数据清洗是一项繁重的任务，需要根据数据的准确性、完整性、一致性、时效性、可信性和解释性来考察数据，从而得到标准的、干净的、连续的数据。

4.2 数据集成

多个数据源集成时会遇到的问题：实体识别问题、冗余问题、数据值的冲突和处理。
1. 实体识别问题
匹配来自多个不同信息源的现实世界实体，数据分析者或计算机如何将两个不同数据库中的不同字段名指向同一实体，通常会通过数据库或数据仓库中的元数据（关于数据的数据）来解决这个问题，避免模式集成时产生的错误。
2. 冗余问题
如果一个属性能由另一个或另一组属性“导出”，则此属性可能是冗余的。属性或维度命名的不一致也可能导致数据集中的冗余。 常用的冗余相关分析方法有皮尔逊积距系数、卡方检验、数值属性的协方差等。
3. 数据值的冲突和处理
不同数据源，在统一合并时，保持规范化，去重。

4.3 数据规约

随着数据量的增加，基于传统的数据分析变得非常耗时和复杂，往往使得分析不可行。数据归约技术是用来得到数据集的规约表示，在接近或保持原始数据完整性的同时将数据集规模大大减小。对规约后的数据集分析将更有效，并可产生几乎相同的分析结果。常见方法有：维度规约、维度变换、数值规约等。

1. 维度规约

用于数据分析的数据可能包含数以百计的属性，其中大部分属性与挖掘任务不相关，是冗余的。维度归约通过删除不相关的属性，来减少数据量，并保证信息的损失最小。
属性子集选择： 目标是找出最小属性集，使得数据类的概率分布尽可能地接近使用所有属性的原分布。在压缩的属性集上挖掘还有其它的优点，它减少了出现在发现模式上的属性的数目，使得模式更易于理解。
单变量重要性： 分析单变量和目标变量的相关性，删除预测能力较低的变量。这种方法不同于属性子集选择，通常从统计学和信息的角度去分析。
如，通过pearson相关系数和卡方检验，分析目标变量和单变量的相关性。

2. 维度变换

维度变换是将现有数据降低到更小的维度，尽量保证数据信息的完整性，提高实践中建模的效率。
若维度变换后的数据只能重新构造原始数据的近似表示，则该维度变换是有损的，若可以构造出原始数据而不丢失任何信息，则是无损的。常见有损维度变换方法：主成分分析、因子分析、奇异值分解、聚类、线性组合。
主成分分析（PCA）和因子分析（FA）： PCA通过空间映射的方式，将当前维度映射到更低的维度，使得每个变量在新空间的方差最大。FA则是找到当前特征向量的公因子（维度更小），用公因子的线性组合来描述当前的特征向量。
奇异值分解（SVD）： SVD的降维可解释性较低，且计算量比PCA大，一般用在稀疏矩阵上降维，例如图片压缩，推荐系统。
聚类： 将某一类具有相似性的特征聚到单个变量，从而大大降低维度。
线性组合： 将多个变量做线性回归，根据每个变量的表决系数，赋予变量权重，可将该类变量根据权重组合成一个变量。

3. 数值规约

数值规约通过选择替代的数据表示形式来减少数据量。即用较小的数据表示替换或估计数据。
数值规约技术可以是有参的，也可以是无参的。如参数模型（只需要存放模型参数，而不是实际数据）或非参数方法，如聚类、抽样和直方图。

4.4 数据变换

数据变换包括对数据进行规范化，离散化，稀疏化处理，达到适用于挖掘的目的。

1. 规范化处理
数据中不同特征的量纲可能不一致，数值间的差别可能很大，不进行处理可能会影响到数据分析的结果，因此，需要对数据按照一定比例进行缩放，使之落在一个特定的区域，如[-1，1]区间，或[0，1]区间，便于进行综合分析。
2. 离散化处理
数据离散化是指将连续的数据进行分段，使其变为一段段离散化的区间。分段的原则有基于等距离、等频率或优化的方法。
3. 稀疏化处理
针对离散型且标称变量，无法进行有序的LabelEncoder时，通常考虑将变量做0，1哑变量的稀疏化处理，稀疏化处理既有利于模型快速收敛，又能提升模型的抗噪能力。

5. 数据分析模型

常用数据分析模型，主要包括：对比分析、漏斗分析、留存分析、A/B测试、用户行为路径分析、用户分群、用户画像分析等。

5.1 对比分析

对比分析 主要是指将两个相互联系的指标数据进行比较，从数量上展示和说明研究对象的规模大小，水平高低，速度快慢等相对数值， 通过相同维度下的指标对比，可以发现，找出业务在不同阶段的问题。
常见的对比方法包括：时间对比，空间对比，标准对比。
时间对比： 包含同比、环比、定基比，时间不同其他条件相同。
例如： 本周和上周进行对比就是环比；本月第一周和上月第一周对比就是同比；所有数据同今年的第一周对比则为定基比。通过三种方式，可以分析业务增长水平，速度等信息。
空间对比： 就是同类现象或指标在同一时间不同空间的指标数值进行对比。
例如：6月份淘宝成交额与天猫成交额对比就是空间对比。
标准对比： 对某指标设定标准值，该指标所有数据与标准值对比。
例如：学生成绩及格设定在60，大于等于60的为及格，小于的60则为不及格，这就是标准对比。

5.2 漏斗分析

漏斗分析模型是一套流程式数据分析，它能够科学反映用户行为状态以及从起点到终点各阶段用户转化率情况的重要分析模型。
漏斗分析模型已经广泛应用于流量监控、产品目标转化等日常数据运营与数据分析的工作中。

5.3 留存分析

留存分析是一种用来分析用户参与情况/活跃程度的分析模型，考察进行初始行为的用户中，有多少人会进行后续行为。这是用来衡量产品对用户价值高低的重要方法。

留存分析可以帮助回答以下问题：

1. 一个新客户在未来的一段时间内是否完成了您期许用户完成的行为？如支付订单等。
2. 某个社交产品改进了新注册用户的引导流程，期待改善用户注册后的参与程度，如何验证？

5.4 A/B测试

A/B测试是指将产品的两个或多个版本，在同一时间维度，分别让类似访客群组来访问，收集各群组的用户体验数据和业务数据，最后分析评估出最好版本正式采用。

比如： 你发现漏斗转化中间有漏洞，假设一定是商品价格问题导致了流失，你看到了问题-漏斗，也想出了主意-改变定价。但主意是否正确，要看真实的用户反应，于是采用AB测试，一部分用户还是看到老价格，一部分用户看到新价格，若你的主意真的管用，新价格就应该有更好的转化，若真如此，新价格就应该确定下来，如此反复优化。

5.5 用户行为路径分析

用户路径分析即用户在APP或网站中的访问路径。
用户路径的分析结果通常以桑基图形式展现，以目标事件为起点／终点，详细查看后续／前置路径，可以详细查看某个节点事件的流向。用户路径分析能够可视化用户流，全面了解用户整体行为路径，定位影响转化的主次因素，方便产品设计的优化与改进。

5.6 用户分群

用户分群即用户信息标签化，通过用户的历史行为路径、行为特征、偏好等属性将具有相同属性的用户划分为一个群体，并进行后续分析。因为群体特征不同，行为会有很大差别，因此可以根据历史数据将用户进行划分，进而再次观察该群体的具体行为。
用户分群关注群体差异，帮助企业打破数据孤岛并真实了解用户，让企业定位营销目标群体，帮助企业实现精准、高效营销。

5.7 用户画像

用户画像分析是基于自动标签系统将用户完整的画像描绘清晰。
常用的画像标签类别有：基本属性、心理特征、兴趣爱好、购买能力、行为特征、社交网络等。

6. 数据分析方法

常用数据分析方法：描述统计、假设检验、信度分析、相关分析、方差分析、回归分析、聚类分析、判别分析、主成分分析、因子分析、时间序列分析等。

6.1 描述性统计分析

描述性统计分析是通过图表或数学方法，对数据资料进行整理、分析，并对数据的分布状态、数字特征和随机变量之间关系进行估计和描述的方法。描述统计分为集中趋势分析和离中趋势分析。
集中趋势分析：主要靠平均数、中数、众数等统计指标来表示数据的集中趋势。
离中趋势分析：主要靠全距、四分差、平均差、方差（协方差：用来度量两个随机变量关系的统计量）、标准差等统计指标来研究数据的离中趋势。

6.2 假设检验

假设检验简单来说先凭借自己的直觉，经验，知识的储备做出合理的假设，再通过数据进行验证假设是否正确。主要包含：参数检验和非参数检验。

1. 参数检验

参数检验是在已知总体分布的条件下（一般要求总体服从正态分布）对一些主要的参数(如均值、百分数、方差、相关系数等）进行的检验 ，常用参数检验方法有：U检验法、T检验法

2. 非参数检验

非参数检验则不考虑总体分布是否已知，常常也不是针对总体参数，而是针对总体的某些一股性假设（如总体分布的位罝是否相同，总体分布是否正态）进行检验。常用非参数检验方法包括：卡方检验、秩和检验、二项检验、游程检验、K-量检验等。

6.3 信度分析

信度（Reliability） ：即可靠性，它是指采用同样的方法对同一对象重复测量时所得结果的一致性程度。一般多用于性格测试、问卷调查等。
信度指标多以相关系数表示，大致可分为三类：稳定系数（跨时间的一致性），等值系数（跨形式的一致性）和内在一致性系数（跨项目的一致性）。信度分析的方法主要有以下四种：重测信度法、复本信度法、折半信度法、α信度系数法。

重测信度法： 用同样的问卷对同一组被调查者间隔一定时间重复施测，计算两次施测结果的相关系数。显然，重测信度属于稳定系数。重测信度法特别适用于事实式问卷，如性别、出生年月等在两次施测中不应有任何差异，大多数被调查者的兴趣、爱好、习惯等在短时间内也不会有十分明显的变化。如果没有突发事件导致被调查者的态度、意见突变，这种方法也适用于态度、意见式问卷。由于重测信度法需要对同一样本试测两次，被调查者容易受到各种事件、活动和他人的影响，而且间隔时间长短也有一定限制，因此在实施中有一定困难。

复本信度法： 让同一组被调查者一次填答两份问卷复本，计算两个复本的相关系数。复本信度属于等值系数。复本信度法要求两个复本除表述方式不同外，在内容、格式、难度和对应题项的提问方向等方面要完全一致，而在实际调查中，很难使调查问卷达到这种要求，因此采用这种方法者较少。

折半信度法： 是将调查项目分为两半，计算两半得分的相关系数，进而估计整个量表的信度。折半信度属于内在一致性系数，测量的是两半题项得分间的一致性。

这种方法一般不适用于事实式问卷（如年龄与性别无法相比），常用于态度、意见式问卷的信度分析。在问卷调查中，态度测量最常见的形式是5级李克特（Likert）量表。进行折半信度分析时，如果量表中含有反意题项，应先将反意题项的得分作逆向处理，以保证各题项得分方向的一致性，然后将全部题项按奇偶或前后分为尽可能相等的两半，计算二者的相关系数（rhh，即半个量表的信度系数），最后用斯皮尔曼-布朗（Spearman-Brown）公式求出整个量表的信度系数（ru）。

α信度系数法： 是目前最常用的信度系数，其公式为：α=(k/(k-1))*(1-(∑Si^2)/ST2)

其中，K为量表中题项的总数， Si^2为第i题得分的题内方差， ST^2为全部题项总得分的方差。从公式中可以看出，α系数评价的是量表中各题项得分间的一致性，属于内在一致性系数。这种方法适用于态度、意见式问卷（量表）的信度分析。

总量表的信度系数最好在0.8以上，0.7-0.8之间可以接受；分量表的信度系数最好在0.7以上，0.6-0.7还可以接受。Cronbach ‘s alpha系数如果在0.6以下就要考虑重新编问卷。

6.4 方差分析

方差分析其实就是假设检验中的F-检验，主要针对的是两个及以上样本均值差别的显著检验。通过分析研究中不同来源的变异对总变异的贡献大小，从而确定可控因素对研究结果影响力的大小。
使用条件：各样本须是相互独立的随机样本；各样本来自正态分布总体；各总体方差相等。
单因素方差分析：一项试验只有一个影响因素，或者存在多个影响因素时，只分析一个因素与响应变量的关系；
多因素有交互方差分析：一顼实验有多个影响因素，分析多个影响因素与响应变量的关系，同时考虑多个影响因素之间的关系；
多因素无交互方差分析：分析多个影响因素与响应变量的关系，但是影响因素之间没有影响关系或忽略影响关系；
协方差分祈：传统的方差分析存在明显的弊端，无法控制分析中存在的某些随机因素，使之影响了分祈结果的准确度。协方差分析主要是在排除了协变量的影响后再对修正后的主效应进行方差分析，是将线性回归与方差分析结合起来的一种分析方法。

6.5 相关分析

相关分析：研究现象之间是否存在某种依存关系，对具体有依存关系的现象探讨相关方向及相关程度。
例如，人的身高和体重之间；空气中的相对湿度与降雨量之间是否存在依存关系，都是相关分析研究的问题。

相关分析的方法很多，初级的方法可以快速发现数据之间的关系，如正相关，负相关或不相关。中级的方法可以对数据间关系的强弱进行度量，如完全相关，不完全相关等。高级的方法可以将数据间的关系转化为模型，并通过模型对未来的业务发展进行预测。
例如：以下是每日广告曝光量和费用成本的数据，每一行代表一天中的花费和获得的广告曝光数量。凭经验判断，这两组数据间应该存在联系，但仅通过这两组数据我们无法证明这种关系真实存在，也无法对这种关系的强度进行度量。因此我们希望通过相关分析来找出这两组数据之间的关系，并对这种关系进度度量。

单纯从数据的角度很难发现其中的趋势和联系，而将数据点绘制成图表后趋势和联系就会变的清晰起来。对于有明显时间维度的数据，我们选择使用折线图和散点图分别进行分析。

1. 通过折线图

为了更清晰的对比这两组数据的变化和趋势，我们使用双坐标轴折线图，其中主坐标轴用来绘制广告曝光量数据，次坐标轴用来绘制费用成本的数据。通过折线图可以发现，费用成本和广告曝光量两组数据的变化和趋势大致相同，从整体的大趋势来看，费用成本和广告曝光量两组数据都呈现增长趋势。从规律性来看费用成本和广告曝光量数据每次的最低点都出现在同一天。从细节来看，两组数据的短期趋势的变化也基本一致。
经过以上这些对比，我们可以说广告曝光量和费用成本之间有一些相关关系，但这种方法在整个分析过程和解释上过于复杂，如果换成复杂一点的数据或者相关度较低的数据就会出现很多问题。

2. 通过散点图

比折线图更直观的是散点图。散点图去除了时间维度的影响，只关注广告曝光量和费用成本这里两组数据间的关系。在绘制散点图之前，我们将费用成本标识为X，也就是自变量，将广告曝光量标识为y，也就是因变量。下面是一张根据每一天中广告曝光量和费用成本数据绘制的散点图，X轴是自变量费用成本数据，Y轴是因变量广告曝光量数据。从数据点的分布情况可以发现，自变量x和因变量y有着相同的变化趋势，当费用成本的增加后，广告曝光量也随之增加。

折线图和散点图都清晰的表示了广告曝光量和费用成本两组数据间的相关关系，优点是对相关关系的展现清晰，缺点是无法对相关关系进行准确的度量，缺乏说服力。并且当数据超过两组时也无法完成各组数据间的相关分析。若要通过具体数字来度量两组或两组以上数据间的相关关系，需要使用第二种方法：协方差。
具体参考：数据分析之数据预处理、分析建模、可视化

6.6 回归分析

回归分析研究的是因变量和自变量之间的定量关系，运用十分广泛，可以用于房价预测、销售额度预测、贷款额度预测等。常见的回归分析有线性回归、非线性回归、有序回归、岭回归、加权回归等。
线性回归(Linear regression) ：是利用回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式。
一元线性回归分析： 只有一个自变量X与因变量Y有关，X与Y都必须是连续型变量，因变量y或其残差必须服从正态分布。
多元线性回归分析：分析多个自变量与因变量Y的关系，X与Y都必须是连续型变量，因变量y或其残差必须服从正态分布 。
Logistic回归分析：Logistic回归模型对因变量的分布没有要求，一般用于因变量是离散时的情况。
Logistic回归分为条件Logistic回归和非条件Logistic回归，条件Logistic回归模型和非条件Logistic回归模型的区别在于参数的估计是否用到了条件概率。

回归分析与相关分析的联系：

1. 相关分析是回归分析的基础和前提。假若对所研究的客观现象不进行相关分析，直接作回归分析，则这样建立的回归方程往往没有实际意义。只有通过相关分析，确定客观现象之间确实存在数量上的依存关系，而且其关系值又不确定的条件下，再进行回归分析，在此基础上建立回归方程才有实际意义。
2. 回归分析是相关分析的深入和继续。对所研究现象只作相关分析，仅说明现象之间具有密切的相关关系是不够的，统计上研究现象之间具有相关关系的目的，就是要通过回归分析，将具有依存关系的变量间的不确定的数量关系加以确定，然后由已知自变量值推算未知因变量的值，只有这样，相关分析才具有实际意义。
3. 回归分析侧重于研究随机变量间的依赖关系，以便用一个变量去预测另一个变量；相关分析侧重于发现随机变量间的种种相关特性。

6.7 聚类分析

聚类分析是指样本个体或指标变量按其具有的特性进行分类，寻找合理的度量事物相似性的统计量。
通常，我们遇到的很多数据都没有很明确或具体的分类标签，我们利用聚类分析将看似无序的对象进行分组、归类，以达到更好地理解研究对象的目的。聚类结果要求组内对象相似性较高，组间对象相似性较低。

在用户研究中，很多问题可以借助聚类分析来解决，比如，网站的信息分类问题、网页的点击行为关联性问题以及用户分类问题等等。其中，用户分类是最常见的情况。常见的聚类方法有不少，比如K均值（K-Means），谱聚类（Spectral Clustering），层次聚类（Hierarchical Clustering） 等。
聚类分析是一种缺乏分类标签的分类方法，当我们对数据进行聚类并得到簇后，一般会单独对每个类进行深入分析，从而得到更加细致的结果。

以最为常见的K-means为例，K-means聚类步骤图解如下：

1、随机设置K个特征空间内的点作为初始的聚类中心，比如图2中的红蓝黄三个点作为聚类中心（图1–>图2）；
2、对于其他每个点计算到K个中心的距离，未知的点选择最近的一个聚类中心点作为标记类别（图3–>图4）；
3、接着对着标记的聚类中心，重新计算出每个聚类的新中心点（平均值）（（图5–>图6））；
4、如果计算得出的新中心点与原中心点一样，那么结束，否则重新进行第二步过程；

6.8 判别分析

判别分析：根据已掌握的一批分类明确的样品建立判别函数，使产生错判的事例最少，进而对给定的一个新样品，判断它来自哪个总体

Fisher判别分析法 ：
以距离为判别准则来分类，即样本与哪个类的距离最短就分到哪一类， 适用于两类判别；以概率为判别准则来分类，即样本属于哪一类的概率较大就分到哪一类，适用于适用于多类判别。

BAYES判别分析法 ：
BAYES判别分析法比FISHER判别分析法更加完善和先进，它不仅能解决多类判别分析，而且分析时考虑了数据的分布状态，所以一般较多使用。

6.9 主成分分析与因子分析

主成分分析（PCA）： 主要是利用降维的思想，将K维数据映射到N维上，N维是全新的正交特征。

因子分析： 用少数的几个因子去描述因素之间的关系，把冗余，杂乱的变量归结于几个主要的不相关的因子。类似于初中学因式分解。具体的方法有很多，如重心法、影像分析法，最大似然解、最小平*方法、阿尔发抽因法、拉奥典型抽因法等等。

主成分分析与因子分析的区别：

主成分分析做的仅为变量变换，将原始变量进行线性组合得到互相正交的新变量。因子分析需要构造因子模型，用潜在的假想变量（不可观测的潜在变量）和随机影响变量的线性组合表示原始变量。

6.10 时间序列分析

数据序列分析：是动态数据处理的统计方法，研究随机数据序列所遵从的统计规律，以用于解决实际问题。

时间序列通常由4种要素组成：趋势、季节变动、循环波动和不规则波动；

主要方法：移动平均滤波与指数平滑法、ARIMA横型、量ARIMA横型、ARIMAX模型、向呈自回归横型、ARCH族模型。

7. 数据可视化

7.1 常见数据可视化图表

常见数据可视化图表有：柱状图、折线图、饼图、散点图、雷达图、箱型图、气泡图、词频图、桑基图、热力图、关系图、漏斗图等。

7.2 常用数据可视化工具

常见数据可视化工具有：Excel、BI工具（PowerBI、Tableau、FineBI）、Python 等。

1. Excel

如下图：PowerView是Excel里面数据可视化功能区，PowerMap是Excel的三维地图可视化区域。

2. BI工具

PowerBI、Tableau、FineBI等都是常用BI可视化工具，功能大同小异，以PowerBI简单介绍一下。
PowerBI 其实相当于PowerQuery(数据清洗)+PowerPivot(数据透视)+PowerView+PowerMap，他集成了这些功能组成一个新的软件叫PowerBI，属于微软做的一个专门用来做数据分析的商业智能软件。

PowerBI界面：

B站上PowerBI基础入门的学习视频地址： https://www.bilibili.com/video/BV1YE411E7p3/?spm_id_from=333.788.b_636f6d6d656e74.17
B站上PowerBI进阶的学习视频地址： https://www.bilibili.com/video/BV18C4y1H7b9?spm_id_from=333.788.b_636f6d6d656e74.18

3. Python

Python中常用的数据可视化的库：Matplotlib、Seaborn。

————————————————————————————————
参考地址：
https://blog.csdn.net/longxibendi/article/details/82558801
https://www.cnblogs.com/caochucheng/p/10539282.html
https://www.cnblogs.com/HuZihu/p/11274171.html
https://www.cnblogs.com/bigmonkey/p/11820614.html
https://blog.csdn.net/weixin_43913968/article/details/84778833
https://www.zhihu.com/collection/275297497
http://www.woshipm.com/data-analysis/1035908.html
https://www.sensorsdata.cn/blog/20180512/
http://meia.me/act/1/schedule/112?lang=
http://www.360doc.com/content/20/0718/00/144930_924966974.shtml
https://zhuanlan.zhihu.com/p/51658537
https://www.cnblogs.com/ljt1412451704/p/9937833.html
https://www.cnblogs.com/peter-lau/p/12419989.html
https://zhuanlan.zhihu.com/p/138671551
https://zhuanlan.zhihu.com/p/83403033
https://blog.csdn.net/qq_33457248/article/details/79596384?utm_medium=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase
https://blog.csdn.net/YYIverson/article/details/100068865?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase
https://blog.csdn.net/weixin_30487317/article/details/101566492?utm_medium=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase

今天的文章如何进行数据预处理分析_数据建模的三个步骤分享到此就结束了，感谢您的阅读。