模式识别(Pattern Recognition) 第一章 概论

概论

模式识别(Pattern Recognition)

用计算机实现人对各种事物或现象的分析,描述,判断,识别。

发展史

• 1929年 G. Tauschek发明阅读机 ，能够阅读0-9的数字。
• 30年代 Fisher提出统计分类理论,奠定了统计模式识别的基础。因此，在60～ 70年代，统计模式识别发展很快，但由于被识别的模式愈来愈复杂，特征也愈多，就出现“维数灾难”。但由于计算机运算速度的迅猛发展，这个问题得到一定克服。统计模式识别仍是模式识别的主要理论。
• 50年代 Noam Chemsky 提出形式语言理论美籍华人付京荪 提出句法结构模式识别。
• 60年代 L.A.Zadeh提出了模糊集理论，模糊模式识别理论得到了较广泛的应用。
• 80年代 Hopfield提出神经元网络模型理论。近些年人工神经元网络在模式识别和人工智能上得到较广泛的应用。
• 90年代 小样本学习理论，支持向量机也受到了很大的重视。

名词约定

样本（sample）：所研究对象的一个个体。
样本集（sample set）：若干样本的集合。
类或类别（class）：在所有样本上定义的一个子集，处于同一类的样本在我们所关心的某种性质上是不可区分的，即具有相同的模式。
特征（features）：指用于表征样本的观测。
已知样本（known samples）：指事先知道类别标号的样本。
未知样本（unknown samples）：指类别标号未知但特征已知的样本。
模式识别的问题，就是用计算的方法根据样本的特征将样本划分到一定的类别中去。

主要方法

• 基于知识的方法 专家系统，句法模式识别
• 基于数据的模式识别方法 收集一定数量的已知样本，利用这些样本作为训练集来训练一定的模式识别机器，使之能对未知样本进行分类
• 在类别标号y与特征向量x存在一定的未知依赖关系、但已知的信息只有一组训练数据对{(x,y)}的情况下，求解定义在x上的某一函数 ，对未知样本的类别进行预测。这一函数叫做分类器（classifier）。这种根据样本建立分类器的过程也称作学习过程或训练过程。

应用

1. 字符识别：包括印刷体字符的识别；手写体字符的识别（脱机），各种OCR设备例如信函分拣、文件处理、卡片输入、支票查对、自动排板、期刊阅读、稿件输入；在线手写字符的识别（联机），各种书写输入板。
2. 医疗诊断：心电图，脑电图，染色体，癌细胞识别，疾病诊断，例如关幼波肝炎专家系统。
3. 遥感：资源卫星照片，气象卫星照片处理，数字化地球，图象分辨率可以达到1米。
4. 指纹识别 脸形识别
5. 检测污染分析，大气，水源，环境监测。
6. 自动检测：产品质量自动检测
7. 语声识别，机器翻译，电话号码自动查询，侦听，机器故障判断。
8. 军事应用

模式识别系统举例

• 语音识别
• 字符和文字识别
• 复杂图象中特定目标的识别

模式识别系统的典型构成

监督模式识别(supervised PR)

监督模式识别（supervised pattern recognition）已知要划分的类别，并且能够获得一定数量的类别已知的训练样本 。

处理监督模式识别问题的一般步骤：

• 分析问题：深入研究应用领域的问题，分析是否属于模式识别问题，把所研究的目标表示为一定的类别，分析给定数据或者可以观测的数据中哪些因素可能与分类有关。
• 原始特征获取：设计实验，得到已知样本，对样本实施观测和预处理，获取可能与样本分类有关的观测向量（原始特征）。
• 特征提取与选择：为了更好地进行分类，可能需要采用一定的算法对特征进行再次提取和选择。
• 分类器设计：选定一定的分类器方法，用已知样本进行分类器训练。

非监督模式识别(unsupervised PR)

非监督模式识别（unsupervised pattern recognition）在面对一堆未知的对象时，我们自然要试图通过考察这些对象之间的相似性来将它们区分开来 。

处理非监督模式识别问题的一般步骤：

• 分析问题：深入研究应用领域的问题，分析研究目标能否通过寻找适当的聚类来达到；如果可能，猜测可能的或希望的类别数目；分析给定数据或者可以观测的数据中哪些因素可能与聚类有关。
• 原始特征获取：设计实验，得到待分析的样本，对样本实施观测和预处理，获取可能与样本聚类有关的观测向量（原始特征）。
• 特征提取与选择：为了更好地进行聚类，可能需要采用一定的算法对特征进行再次提取和选择。
• 聚类分析：选定一定的非监督模式识别方法，用样本进行聚类分析。
• 结果解释：考察聚类结果的性能，分析所得聚类与研究目标之间的关系，根据领域

机器学习算法分类