设为首页 - 加入收藏 - 网站地图 澳华网(aohua123.com)
当前位置:主页 > 科研博文 > 正文

TSK模糊系统与神经网络、混合专家模型、分类回归树CART、stackin

时间:2019-08-17 11:00 作者:未知
 

 

 

基于规则的模糊系统已经在很多问题中得到了成功应用,特别是控制和决策。其最大的优点是可解释性,即整个系统是基于规则构建的,而每一条规则都可以直观地理解。当然,随着现在数据驱动建模方法的流行,模糊系统规则也变得越来越复杂和难以理解。这不是本文的重点,不再详述。模糊集最早由加州大学伯克利分校Zadeh教授于1965年提出,如下图1(a)中X所示。模糊集主要是用来建模人类语言中的不确定现象。比如,我们说温度35度以上为“高温”,那么根据经典二值逻辑,气温34.9度就不能算是“高温”。显然,这有悖于人们的直观感受:34.9度跟35度在感觉上又有多少区别呢?所以,34.9度也应该算作“高温”,只是它属于“高温”这个概念的隶属度不为1,而是略小于1的一个值,比如0.95或0.99. 同理,34.5度也应该算作“高温”,只是它的隶属度比34.9度要稍低一些。所有等于或高于35度的温度都完全属于“高温”,即隶属度为1. 在下图1(a)中,u_X(x)代表的即是x属于模糊集X的隶属度函数,为[0,1]之间的值。图1(b)是Zadeh经典模糊集的一个推广,称为区间二型模糊集,也由Zadeh在1975年提出,并由美国南加州大学Mendel教授在2000年左右发扬光大,成为目前模糊系统中最热门的研究方向之一。我自己的博士工作主要也集中在区间二型模糊集上面,这里不做详述。感兴趣的读者可以在这里下载我写的一个简单示例和教程:https://www.mathworks.com/matlabcentral/fileexchange/29006-functions-for-interval-type-2-fuzzy-logic-systems
模糊系统常用的有两种规则:Zadeh规则,其中规则后置是模糊集,和Takagi-Sugeno-Kang 规则,其中模糊后置是输入的函数。一个TSK规则通常具有如下形式:
其中x_1, …, x_d为d维的输入,X_{k,1}, …, X_{k,d} 为第k条规则中各个输入对应的模糊集,y_k(x)为该规则的输出,它是关于输入的一个线性函数。Zadeh模糊系统由4个部分组成:模糊化,规则库,推理机,和去模糊化。模糊化把每个输入映射成模糊集,推理机基于规则库进行推理来得到一个新的模糊集,然后去模糊化把模糊集映射成一个数值化输出。TSK模糊系统不需要去模糊化,因为推理机的输出直接就是清晰的数值。近年来,TSK模糊系统比Zadeh模糊系统更为流行,因为其结构和计算更简单,但是表达能力更强,尤其适用于数据驱动的建模。

构建一个性能良好的模糊系统并不是一件容易的事情,有很多挑战,比如:1. 优化。模糊系统可以通过进化算法、梯度下降、梯度下降+最小二乘等方法优化。然而,每种优化方法都有其不足之处:进化算法运算代价很高,不适合大数据应用;传统的梯度下降方法对学习参数很敏感;ANFIS很容易导致过拟合。所以,有必要开发更有效和快速的模糊系统优化算法,特别是针对大数据的应用。2. 可解释性。如本文开头所提到的,可解释性是模糊系统区别于其他机器学习方法的最显着特征。但是,可解释性随着规则数增多而迅速下降。如何在保持模糊系统性能的基础上提高可解释性,是研究难点之一。3. 维度诅咒。传统的基于网格划分构造的模糊系统的规则数目随着输入维度的增加而呈指数倍增加,因而很难应用于高维数据。基于聚类初始化的模糊系统能在一定程度上解决规则数目爆炸的问题,但是聚类本身也有维度诅咒的问题。而且,随着输入数增多,规则也变得很难解释。4. 泛化性能。任何机器学习模型都不是只追求训练性能;更重要的泛化能力,即在未见过的数据上面的表现。提高机器学习模型泛化能力的一个重要方法是正则化,但是目前模糊系统中正则化用得还比较少。
本研究全面深入地探索了TSK模糊系统与神经网络、混合专家模型、分类回归树CART、stacking集成学习的等价性,并指出通过借鉴这些等价机器学习方法,可能可以克服上面提到的四个挑战:1. 优化。受模糊系统与神经网络等价性的启发,我们最近的工作把深度学习里面的一些优化技巧,比如Mini-Batch、Adam、DropOut、Batch Normalization等推广到了模糊系统优化中,取得了很好的效果,后面会有博文详细介绍。2. 可解释性。受模糊系统与混合专家模型等价性的启发,我们最近的工作设计了一个新颖有效的正则化项,提高了模糊系统的训练速度和泛化能力。后面会有博文详细介绍。3. 维度诅咒。受模糊系统与CART等价性的启发,已经有很多研究者用CART生成的规则来更好地初始化模糊系统的规则。我们也在进行这方面的进一步探索。4. 泛化性能。众所周知,集成学习的泛化能力很强。受模糊系统与stacking集成学习等价性的启发,我们正在研究提高模糊系统泛化能力的方法。