首页 > 技术文章 > CDA数据分析【第二章:数据收集与导入】

yszd 2019-10-02 19:55 原文

一.概述

  数据是对我们所研究现象的属性和特征的具体描述,在分析数据前必须要做的工作就是收集数据。按照存储形式可以将数据划分为结构化数据、非结构化数据和半结构化数据。

  1.结构化数据

    能够用数据或统一的格式加以表示,简单来说就是数据库。

  2.非结构化数据

    无法用数据或统一的结构加以表示,如视频、音频、图片、文档等形式。

  3.半结构化数据

    包括邮件、HTML、报表、资源库等。

二.SQL语言和MySQL

  数据库,顾名思义,是存放数据的仓库。严格地讲,数据库是长期存储在计算机内、有组织的、可共享的大量数据的集合。数据库中的数据按一定的数据模型组织、描述和存储,具有较小冗余度、较高的数据独立性和易扩展性,并可为各种用户共享。概况地讲,数据库数据具有永久存储、有组织和可共享三个基本特点。

  1.SQL语言

    SQL【Structured Query Language】,即结构化查询语言,是关系型数据库的标准语言。SQL是在1974年由Boyce和Chamberlin提出的,并在IBM公司研制的数据库管理系统原型System R上实现。于1987年定为国际标准。SQL集数据查询【Data Query】、数据操纵【Data Manipulation】DML、数据定义【Data Definition】DDL和数据控制【Data Control】DCL功能于一身,语言风格统一,可以独立完成数据库生命周期中的全部活动。

  2.数据查询

    》选择表中的全部列或部分列,这就是关系代数中的投影运算。

    》SELECT子句的<目标列表达式>不仅可以是表中的属性列,也可以是表达式。

    

   3.聚集函数

    

   4.连接查询

    略

  5.嵌套查询【子查询】

    1.在SQL语言中,一个SELECT-FROM-WHERE语句称为一个查询块。将一个查询块嵌套在另一个查询块的WHERE子句或HAVING短语的条件中的查询称为嵌套查询【nested query】。

    2.子查询的SELECT语句中不能使用ORDER BY子句,ORDER BY子句只能对最终的结果进行排序。

    3.有些嵌套查询可以使用连接运算代替,有些是不能代替的。

    4.子查询的查询条件不依赖于父查询,这类子查询称为不相关子查询。不相关子查询是一种比较简单的子查询。如果子查询的查询条件依赖父查询,这类子查询称为相关子查询。求解相关子查询不能像求解不相关子查询那样,一次将子查询求解出来,然后求解父查询。内层查询由于与外层查询有关,因此需要反复求值。因查询数据和表结构的差异,查询执行过程也会有所区别,一般执行步骤如下:

      》从外层取出一个连接值,传送给内层连接

      》执行内层查询,得到使用外层连接值查询到的值,用该值代替内层查询,得到外层查询

      》执行该外层查询,得到对应的值

      》重复以上3个步骤,直到外层连接值查询完为止

    5.带有ANY或ALL的子查询

      

   6.MySQL特点

    1.标识符由字母、数字或下划线【_】组成,且第一个字母不能是数字。

    2.MySQL数据类型

      》数字类型

        》整数:tinyint、smallint、mediumint、int、bigint

        》浮点数:float、double、real、decimal

      》日期/时间

        》date、time、datetime、timestamp、year

      》字符串类型

        》字符串:char、varchar

        》文本:tinytext、text、mediumtext、longtext

      》二进制

        》tinyblob、blob、mediumblob、longblob

    3.登录

      执行命令:mysql-h 主机名-u 用户名-p

推荐阅读