首页 > 技术文章 > CDA数据分析【第一章:数据分析概述】

yszd 2019-09-21 10:54 原文

一.数据分析行业发展

  1.如何收集、保存、管理、分析、共享正在呈指数式增长的数据是我们必须要面对的一个重要挑战。

  2.数据分析包括数据采集、数据存储、检查、清洗、分析、转换和建模等方法对数据进行处理的一系列流程。用于结果的呈现和商业应用。

  3.大数据4V特点:Volume【大量】、Velocity【高速】、Variety【多样】、Value【价值】。

  4.大数据1.0时代停留在数据认知上,2.0则要求通过这些数据去解决问题。

  5.大数据主要应用:

    >大数据在预警方面发挥重要作用

    >大数据分析成为市场营销的重要手段

    >大数据在临床诊断、远程监控、药品研发等领域发挥重要作用

    >大数据为金融领域的客户管理、营销管理及风险管理提供重要支撑

二.数据分析应具备的技能

  1.和IT团队合作,组织管理数据并决定公司目标【数据存储】

  2.从内部数据和外部数据中挖掘信息【数据挖掘】

  3.数据清洗和修复数据,避免不必要的数据干扰【数据清洗】

  4.用标准的统计工具分析和解析分析结果【分析工具】

  5.在复杂的数据集合里指出趋势,找出关系和构建模型【建模】

  6.为决策层提供数据和观点,让数据一目了然【数据可视化】

  7.设计、创造和维护数据库和数据系统的关系【数据库】

  8.分类问题和解数据相关问题【数据分析】

  9.根据数据分析结果做出决策【数据分析】

  10.研究数据间的相互关系【数据分析】

三.数据分析必须具备的素质

  1.严谨负责,尊重数据真实性

  2.敏感性强,善于提出问题

  3.思路清晰,具有强烈的逻辑分析思维

  4.擅长模仿,又要有创新

四.数据分析基本流程

  1.采集

    特点和挑战:并发高,数据来源种类繁多

  2.导入/预处理

    特点和挑战:数据量大

  3.统计/分析

    特点和挑战:数据量大,对系统资源占用大

  4.挖掘

    特点和挑战:挖掘算法复杂,计算涉及的数据量和计算量都很大,常用的挖掘算法以单线程为主

五.数据分析的分析导向

  1.决策导向型

    决策导向是从企业决策入手,进而研究分析方法,分析建模及算法,研究关键字段,找数据,是从客户导向出发的研究思路。

  2.探索导向型

    从大量无序数据中提取重要的关键信息进行分析,是数据驱动型研究,是未来的趋势,更有价值。

推荐阅读