?C(m)?1 (7.46)
1?????Hm(U*;c)????maxm?H*m(U;c)????其中,?为一较大的正常数,实际应用中一般取为??10。由式(2-4.10)可知,对于一给定参数m,FCM算法的结果越模糊,划分熵就越大,划分熵越大,则对应的隶属度就越小,恰好符合我们定义的模糊约束——极小化的模糊聚类划分熵。
定义了最优加权指数m*决策的模糊目标、模糊约束以及对应的隶属函数后,即可利用模糊决策的方法获得m*。也就是说,最优加权指数m*取为模糊目标和模糊约束所对应的模糊子集的交集中最大隶属度所对应的m值,由下式(2-4.11)可求得:
m*?arg?max?min???mG(m),?C(m)??? . (7.47)
按式(2-4.11)所得到的m*将能保证,既以较大的隶属度极小化聚类目标函数,又以较大的隶属度极小化模糊聚类的划分熵,使FCM算法得到的模糊聚类既能表达样本间的相近信息,又能保证样本类分的明晰性,因此也必然对应于好的模糊聚类结果。
3. 基于目标函数拐点的参数m优选方法
除了基于模糊决策的参数m优选方法外,我们还得到一种实验方法——基于目标函数拐点的方法,该方法简单易行,但物理意义尚不够明确。
在研究中,发现尽管FCM算法的目标函数J**m(U,P)是随参数m的增大而单调下降的
(具体分析见第2.2节),但下降的速度分成两个阶段,前一阶段下降缓慢,后一阶段下降急
促,从而形成了一个拐点。也就是说目标函数J**m(U,P)对参数m的偏导数存在一个极小点。
有趣的是,该拐点恰好位于Bezdek的经验范围[1.1, 5]之内,并随样本集的可分性的变化作出相应的移动。尽管目前还没有找到其对应的确切物理意义,但从实验角度我们已经验证该拐点对应的m值可以作为合适的加权指数用于FCM算法中,从而得到了一种最优加权指数m*的快捷选取方法:
m*?????m?????m???Jm(U*,P*)???m????0??? (7.48) ?由于对于模糊聚类而言,目标函数的拐点恰好对应其导数的极小值,为了便于快速实现,最优加权指数m*又可按下式选取:
m*?arg??min???m??Jm(U*,P*)???m???? (7.49) ?下一节中,我们将用实验证明由目标函数拐点法得到的m*与基于模糊决策方法得到的m*
基本上一致,并全部符合Bezdek的经验范围[1.1, 5],而且在实际应用中,均可缩小为Pal从聚类有效性角度得出的实验区间[1.5, 2.5]。从而,从实验的角度论证了该方法的有效性。
尽管,我们提出了两种加权指数m优选方法,但除了与现有的经验范围比较之外,还缺
乏其它的有效性判别准则。为此,我们把最优参数m*与最佳分类数c*之间建立起联系,可通过类别的先验知识判断加权指数m*的合理性,从而验证参数m优选方法的有效性。反之,如果m的选取方法有效,又可以用来选取合理的聚类类别数。
4. 基于最优参数m*的类别数确定方法
所谓的最优加权指数m*是相对于模糊聚类的性能和效果而言的,换言之,好的加权指数m应当能保证模糊聚类的类内加权平方误差和要小,同时保证聚类间的可分性要好。因此,如果数据集的可分性较好,即对应于小的模糊聚类划分熵,那么,此时m的取值必然要倾向于使聚类的目标函数小的方向选取,所以m*将较大。反之,如果数据集较为分散,可分性降低,此时m的取值将倾向于使聚类划分熵小的方向选取,所以m*将较小。基于此,可得到“好的可分性对应大的m*”的结论。
对于一个给定的数据集,如何划分才能保证好的可分性呢?显然是按照数据集的自然结构划分时,此时的所得到的数据子集类内紧质、类间较好分离。也就是说,要按数据集的自然类数c*划分,否则,分类数c小于c*将导致几个自然结构划分到同一类中,而增大了类内距离;分类数c大于c*将导致一个自然结构被划分成几类,而减小了类间距离。可见,好的可分性对应于按照数据集的自然类数c*的最优划分。
由上述分析可得,数据集做模糊c*-划分时对应的最优加权指数m*最大。这一结论既为参数m优选方法的有效性提供了一种检验方法,又为模糊聚类有效性问题(即最佳类别数选取)提供了一种途径。这样,最优加权指数m*与最佳聚类数c*之间存在如下关系:
?*c*?arg??max?m(c)?? (7.50)
??c?式(2-4.14)中m(c)为在给定类别数c的条件下所得到的最优加权指数,可用前面给出的两种方法(即基于模糊决策的方法和基于目标函数拐点的方法)中的任意一种来求取。
§2.5 实验结果及分析
为了验证本章中所提出的加权指数m优选的两种方法以及最优分类数c*确定方法的有效性,本节分别用实际数据(IRIS数据)和人造数据进行了四个实验。实验结果表明,m*的求取方法是相当有效的,c*的确定方法也是可靠和灵敏的,所得的实验结果与前面的理论分析是相吻合的。
实验1:本实验用著名的IRIS实际数据作为测试样本集(Duda 73),以测试参数m的优选方法。IRIS数据由四维空间中的150个样本点组成,每一个样本的四个分量分别表示IRIS的Petal Length,Petal Width, Sepal Length和Sepal Width。整个样本集包含三个IRIS种类Setosa,Versicolor和Virginica,每类各有50个样本。一类IRIS数据与其它两类间较好分离,其余两类有交迭。IRIS数据经常被用作标准的测试数据。
图7.1.6 (a)显示了用基于模糊决策方法得到的最优参数m*,模糊目标和模糊约束的隶属
*函数在m=1.8处相交,因此,模糊决策的结果得到m*=1.8。如图7.1.6 (b)所示,为基于目标函数拐点方法所得到的最佳参数m*,从图中可知目标函数相对于m的一阶导数曲线在m?2.1处有极小点,即为目标函数的拐点,所以得到m*=2.1为最优值。这样,两种方法所得到的最优参数m*大致都在2附近,与FCM算法中常取的m=2相一致。
(a) 基于模糊决策方法所得的m* (b) 基于拐点方法所得到的m*
图7.1.6 两种方法得到的针对IRIS数据的最优参数m*
为了研究最优加权指数m*与数据样本集可分性(又称类间分离度)之间的关系,我们设计了如下的实验2。
实验2:实验中测试样本来自二维平面上一族样本集序列,该序列中某一组样本集如图7.1.7 (a)所示,由分别隶属于两个类别的100个高斯分布的样本点构成。两类样本子集分别聚集在中心点在(0.25,0.25)和(0.75,0.75),半径为R1, R2的圆内。为了便于讨论,定义样本子集间的可分性参数r:
r?(R1?R2)2D (7.51)
12其中D12为两个子集间的距离。由式(2-5.1)的定义可知,样本可分性与参数r成反比,也就是说,随r的增加模式类间的可分性降低。实验中可分性参数r在0.05到1.5之间均匀滑动,形成一族测试样本集。
图7.1.7 (b)显示了用两种方法分别得到的最优m*随可分性参数r的变化曲线。从图中可知,两种方法所得到的曲线相互靠近且具有相同的变化趋势,即随参数r的增加(或者样本可分性的降低),最优加权指数m*单调下降。这与我们前面的理论分析极为吻合。
图中曲线上小的起伏来自样本的随机产生所引起的可分性的波动。当r从0.05到1.5滑动时,两种方法所得到的m*值均位于[1.5,4.5]区间内,与Bezdek的经验取值范围[1.1,5]相一致。在实际应用中,样本集的可分性参数r大都在0.5附近,因为太小的r对应的类分明显,无须聚类分析,而太大的r对应的样本集又无聚类趋势,因此,实际中m*的最佳范围可以缩小为[1.5,2.5],这又与Pal等人的实验结论一致。
(a) 二维平面上人造测试样本集 (b) 两种方法得到的m*随r的变化曲线
图7.1.7 研究最优参数m*与数据可分性间关系的实验
以上实验验证了“好的样本可分性对应大的最优加权指数m*”的结论,从而巩固了基于最优m*的最佳类别数c*确定方法的理论基础。以下,也从实验的角度证实该聚类有效性方法的可靠性和灵敏性。
(a) 人造三类测试样本集 (b) 两种方法得到的m*随c变化曲线
图7.1.8 基于最优m*的最佳类别数c*确定方法的可靠性测试实验
实验3:测试样本集为150个分属于三类的二维平面上的人造数据,如图7.1.8 (a)所示。假定事先不知道最佳类别数,验证用基于最优m*的最佳c*确定方法能否得到正确的解。图7.1.8 (b)给出了用两种方法所得到的最佳加权指数m*随类别数c的变化曲线,从图中可以看出,两条曲线均在c=3处出现较大的峰值。这说明在样本集在做模糊3-划分时对应的可分性最好,这与实际情况完全相符,从而证明了该方法的可靠性。
实验4:实验中测试样本集如图7.1.9 (a)所示由300个样本点组成。从图中可以看出,300个样本分别聚集成6个小的子集,而从总体上看样本集又可以粗分为两个大类,其中每个大类包含3个小类。对于这一测试样本集,现有的聚类有效性测度大都不能全面反映样本集的结构信息。
(a) 两大类或六小类的测试数据集 (b) 两种方法得到的m*随c变化的曲线
图7.1.9 基于最优m*的最佳类别数c*确定方法的灵敏性测试实验
图7.1.9 (b)所示为利用模糊决策方法和拐点法所得到的最优加权指数m*随类别数c的变化曲线,从图中可知,两条曲线均在c=6和c=2处出现了峰值。按照本章提出的最佳类别确定方法可知,在c=6和2时,FCM算法得到的模糊c-划分的类间可分性最好。因此,样本分为6类或2类具有较好的聚类有效性,这与实际情况完全吻合,也证实了该方法的灵敏性。
7.2 模糊聚类的最优类数C的研究
基于数据集的模糊划分的聚类有效性函数是建立在如下的思想上:就模糊划分而言,划分的分明性越好,分类的不确定性就越小。因此聚类有效性函数的定义是基于模糊划分的不确定性最小。事实上,一个能很好分类的数据集,其模糊性是不能很大的。Dunn[65,66]首先提出了一个函数:划分系数F(U;c)(现常称为Bezdek划分系数)。随后,基于数据集的模糊划分提出了划分熵,比例系数等聚类有效性函数。Gunderson[83]曾利用划分系数对星域数据进行了成功的分类。
早在1965年,模糊集理论的创始人Zadeh[201]就给出了第一个聚类有效性函数:分离度。 但后来发现它对模糊聚类有效性的判决并不十分理想。 1974年Bezdek将Dunn提出的划分系数概念F(U;c)应用于聚类有效性的判决,才真正构成了第一个实用的聚类有效性函数。
F(U;c)具有直观的几何解释和良好的数学性质。由于1/c?F(U;c)?1,Dunn曾指出F(U;c)是一个关于模糊划分与相应的硬划分的远近程度的测度。F(U;c)是有最大值的,
Bezdek认为该最大值对应于最佳的分类数。大量的实验已经发现,F(U;c)的最大值总是在
c?2时得到。此外,F(U;c)有随类数c增加而递减的趋势。1988年Trauwaert[178]从数学
理论角度分析了划分系数,指出F(U;c)的最大值并非总是对应于最佳的分类数。这些实验结果和理论分析表明划分系数有明显的不足,是不适用于聚类有效性的判决的。有关划分系数的评述还可参阅文献[50]。
我们认为以往的文献对划分系数的解释是不充分的,这也是导致划分系数失效的原因。