增量学习：基本概念

定义：学习系统能不断从新样本中学习新的知识，并能保存大部分之前已经学习到的知识。

增量学习的重要性主要体现在以下两个方面：

（1）在实际的感知数据中，数据量往往是逐渐增加的，因此，在面临新的数据时，学习方法应能对训练好的系统进行某些改的，以对新数据中蕴含的知识进行学习。

（2）对一个训练好的系统进行修改的时间代价通常低于重新训练一个系统所需的代价。

增量学习思想可以描述为：每当新增数据时，并不需要重建所有的知识库，而是在原有的知识库的基础上，仅对新增数据所引起的变化进行更新。增量学习的框架有很多，各框架的最核心的内容时处理新数据与已经储存知识相似性评价方法。因此该方法决定察觉新知识并增加知识库的方式，它影响着知识的增长。新知识的判断机制才是增量学习的核心部件。

特点和意义：

传统机器学习算法大多属于批量学习（batch learning）模式，即假设在训练之前所有训练样本一次都可以得到，学习这些样本后，学习过程就终止了，不再学习新的知识。然而在实际应用中，训练样本通常不可能一次性全部得到，而是随着时间逐步得到的，并且样本反应的信息也可能随着时间产生了变化。如果新样本到达后要重新学习全部数据，需要消耗大量的时间和空间，因此批量学习算法不满足这种需求。只有增量学习可以渐进的进行知识的更新，且能修正和增强之前的知识，使得更新后的知识能够适应到达的数据，而不必重新对全部数据进行学习。增量学习降低了对时间和空间的需求，更能满足实际要求。

Robipolokar对于增量学习所应具有的特点进行了以下总结：

1）可以从新数据中学习到知识；

2）以前已经处理的数据不需要重复处理；

3）每次只有一个训练观测样本被看到和学习；

4）学习新知识的同时能够保存之前学习到的大部分知识；

5）一旦学习完成训练后训练观测样本被丢弃；

6）学习系统没有关于完整训练样本的先验知识；

常见的增量学习框架：

1. 自组织增量学习神经网络

SOINN是一种基于竞争学习的两层神经网络。SOINN的增量学习能使得它发现数据流中出现的新模式进行学习，同时不影响之前学习的结果。因此SOINN能够作为一种通用的学习算法应用于各类非监督学习问题中。

2. 情景记忆马尔可夫决策过程

情景记忆马尔可夫决策过程EM-MDP准确来说是一套完整的人工智能方案（简化版），这个框架中包括对情景的认知、增量学习、短期与长期记忆模型。我们将焦点放在框架中的增量学习部分。该框架基于自适应共振理论（ART）与稀疏分布记忆（SDM）的思想实现对情景记忆序列的增量式学习。SDM是计算机科学家彭蒂.卡内尔瓦于1974年提出的能够将思维所拥有的任何感知存入有限记忆机制的方法。这样，在学习过程中，每次可有多个状态神经元同时被告激活，每个神经元均可看成一类相近感知的代表。相比SOINN网络每次最多只能有一个输出节点，该方法具有环境适应性好的优点。

今天的文章增量学习：基本概念分享到此就结束了，感谢您的阅读，如果确实帮到您，您可以动动手指转发给其他人。