北栀凉心谱数据进行平滑、插值、滤波、拟合及提高分辨率等运算,或用FT频率谱即权系数(傅里叶系数)直接参与模型的建立。在NIR光谱分析中,傅立叶变换可用来对光谱进行平滑去噪、数据压缩以及信息的提取。
McClure[27]利用傅里叶变换系数进行多元逐步线性回归建立模型。Devaux[28]用FT对用于面粉分类的NIR反射光谱数据压缩后再进行PC A处理,在不牺牲准确度的前提下,大大缩小了运算时间。Wu[29]将傅里叶变换系数作为模式识别的特征变量,其结果与PC A相当。Pasti[30]利用傅里叶变换与遗传算法相结合,从NIR光谱数据中提取相关特征进行多元校正。该方法将遗传算法选定的PS谱(pow2 er spectra)用于多元线性回归模型的建立,结果表明,与G A2M LR方法、全谱的PCR和P LS方法以及UVE2P LS方法相比,FT是一个快速有效的信息提取及压缩方法,同时该方法也可用于研究校正集中样品分布情况。
7.小波变换(wavelet trans form,WT)
近年来,小波变换(WT)在信号和图像处理中的应用逐渐广泛和成熟起来。与FT相比,WT具有时2频局部化特性[31,32]。WT理论在80年代得到了迅速发展。其思想起源于工程学、物理学及纯数学领域,被认为是泛函分析、傅里叶分析、样条分析、调和分析、数值分析的完美结晶。自1989年以来,由于大量基函数的出现及快速算法的建立,WT在许多领域得到了广泛的应用。90年代初,WT被引入化学领域并形成了化学小波分析。WT能够将化学信号根据频率的不同,分解成多种尺度成分,并对大小不同的尺度成分采取相应粗细的取样步长,从而能够聚焦于信号中的任何部分,因此,被称为化学信号的“数学显微镜”。在分析化学领域中,WT已成功应用于流动注射分析、伏安分析、高效液相色谱、红外光谱、质谱、核磁共振谱、可见2紫外光谱、光声光谱、扩展X射线吸收精细结构(EX AFS)谱等分析化学信号的平滑滤噪、去除背景、数据压缩以及重叠信号解析[33—38]。
(1)小波变换的基本概念
与FT相比,WT具有时2频局部化特性。WT的实质是将信号x(t)投影到小波Ψ
a,b
(t)上,即x(t)
与Ψ
a,b
(t)的内积,得到便于处理的小波系数,按照分析的需要对小波系数进行处理,然后对处理后的小波系数进行反变换得到处理后的信号。
所谓的小波是指满足一定条件的函数Ψ(t)通过伸缩和平移产生的一个函数族Ψ
a,b
(t):
Ψ
a,b
(t)=1
|a|
Ψt-b
a
(6)
a,b∈R,a≠0
其中a用于控制伸缩(dilation),称为尺度参数(scale parameter),b用于控制位置(position),称为平移参数
(translation parameter),Ψ(t)小波基或小波母函数。Ψ(t)必须满足两个条件:
①小(small):Ψ(t)迅速趋向于零或迅速衰减为零
②波(wave):∫+∞-∞Ψ(t)=0(7)
连续WT可表示为:WT
x
(a,b)= Ψ a,b (t)>=1 |a|∫ +∞ -∞ x(t)Ψa,b(t)d t(8)在分析信号的WT处理中,一般使用的是离散小波变换,与离散FT不同的是,此处的离散是针对连续的尺度参数a和连续参数b,而非时间变量t 的。 离散小波定义a=a m (a >1,m∈Z),b= nb0a m0(b0∈R,n∈Z),则Ψm,n(t)=a-m20Ψ(a-m t -nb0)。一般取a0=2,b0=1,此时称为二进小波(dyadic wavelet)。 对于等波长间隔的k个离散光谱数据点x 1 , x2,...,x k,其离散二进小波变换为: WT x(m,n)= ∑k i=1 2-m2Ψ(2-m t i-n)x i (9) 上式说明了WT实际上是将离散信号在小波基函数上的投影,不同的m,n代表不同的分辨率(尺度)和不同的时域(平移),小波函数正是通过不同的m和n来调节不同的局部时域和不同的分辨率。 与FT所用的基本函数(只有三角函数)相比, WT中用到的小波函数不具有唯一性,即Ψ(t)具有多样性,同一问题用不同的小波函数进行分析,有时结果相差甚远。因此,小波函数的选用是WT在实际应用中的一个难点,目前通常采用经验或不断尝试方法,对比结果来选择最佳的小波函数。 在众多的小波基函数家族中,有些小波函数被实践证明是十分有效的,其中在光谱分析中最常用主要有Haar小波、Daubechies(dbN)小波、C oiflet小波和Symlets小波等。 ? 1 3 5 ? 第4期褚小立等 近红外分析中光谱预处理及波长选择方法进展与应用? 1995-2005 Tsinghua Tongfang Optical Disc Co., Ltd. All rights reserved. (2)小波变换的计算方法(mallat 算法)Ψm ,n (t )一般不具有解析表达式,为实现有限离散WT 计算,数值计算经常采用Mallat 提出的多 分辨信号分解(multires olution signal decom position ,MRS D )算法或塔式(pyramid )算法来实现,又称为Mallat 算法 [39] 。 将Ψm ,n (t )离散地表示成一对低通滤波器H = {h l }和高通滤波器G ={g l },(l ∈Z ),{h 3 l }和{g 3 l } 为对应的镜像滤波器。对一等波长间隔的k 个离散光谱数据点x 1,x 2,...,x k ,表示成C (l ),则正交离散二进小波分解可以写成: C j (i )=∑l ∈Z h 3(l -2i )C j -1 (l )(10)D j (i )= ∑ l ∈Z g 3 (l -2i )C j -1(l ) (11) 式中,j =0,1,...,J ,J 为最高分解级次。由于分解正交性,通过C j 和D j 可以重构得到原始信号 C 0 :C j -1 (i )= ∑ l ∈Z h (i -2l )C j (l )+ ∑ l ∈Z g (i -2l )C j -1 (l ) (12) 尺度参数a 与j 的关系为a =2j ,分辨率定义为1P a ,随着j 的增加,分解的尺度二进扩展,细节分辨 率随之降低。C j 和D j 分别称为2-j 分辨率下的离散近似和离散细节,即C j 表示频率低于2-j 的低频分量,而D j 表示频率介于2-j —2 -j +1 之间的高频分 量。 低通滤波器H ={h l }和高通滤波器G ={g l }存在以下关系: g l =(-1)l h 1-l 且 ∑ l ∈Z h l =2, ∑ l ∈Z g l =0(13) (3)小波包变换(wavelet packet trans form ,WPT ) 在正交离散二进小波分解处理中,只对低通滤波器的输出再进行变换处理,且其尺度是在二进制变化的,所以在高频段其频率分辨率较差,而在低频段时间分辨率较差。与WT 不同的是,小波包变换对高频部分进行进一步分解,并能够根据被分析信号的特征,自适应地选择相应频带,使之与信号频谱相匹配,从而提高了时2频分辨率。小波包变换的具体算法参见相关文献[40,41] 。 (4)小波变换在NIR 中的应用 从原理上讲,在NIR 光谱分析中,用到FT 的地方一般都可使用WT ,如光谱去噪平滑、光谱数据压缩和化学信息的提取等。 ①光谱去噪平滑 WT 用于平滑和滤噪的一般步骤为:首先对原 始光谱进行WT 得到高频和低频小波系数矢量;再通过阈值法去除小波系数中被认为是表示噪音的元素(称为滤噪),或去除小波系数中的高频(低尺度)元素(称为平滑);最后用经过处理的小波系数进行反变换即可得到滤噪后的光谱信号。阈值法通常有两种形式:硬阈值法,即把所有低于阈值的小波系数全部置零;软阈值法,即将小于阈值的小波系数置零并从大于阈值的小波系数的绝对值中扣除该阈值。 关于阈值的估测方法也有不少报道[42,43] ,如简单的软、硬阈值法,S URE 方法,VIS U 方法,HY BRI D 方法和MI NM AX 方法等。 闵顺耕等[44] 利用WT 对52个烟草样品的漫反射光谱进行滤波处理,并用P LS 法来计算烟草样品的总氮含量。结果表明,光谱WT 滤波后,预测集的相对标准偏差由原来的9.2%降为7.4%,提高了模型的预测准确性,其结果优于FT 和五点三次平滑 方法。Walczak [45] 将WPT 应用到NIR 光谱数据的模式识别中,其明显优于S NV 方法的结果。 Walczak 和Park 等人利用NIR 光谱的小波细节系数进行模型传递[46,47] 。其基本思想是先对NIR 光谱进行小波变换,得到小波细节系数;最后利用普通的模型传递算法校正小波系数,再进行小波重构,得到传递后的光谱,从而实现模型传递。由于小波细节系数基本上不含噪音,同时数据点少,因此,这种基于小波系数的模型传递方法具有速度快、抗干扰 能力强的优点。G reensill 等人[48] 利用这种方法对建立的测定瓜中可溶固体含量的分析模型在不同二极管阵列近红外光谱仪间进行传递,其结果明显优于 其它传递方法。T ian [49] 等人在此基础上提出了更为复杂的小波混合直接校正算法(wavelet hybrid direct standardization ,WH DS )。该方法将离散逼近和离散细节分别重构,然后利用常规模型传递算法,分别校正主仪器和子仪器的重构离散逼近和重构离散细节之间的差别,最后利用小波重构得到传递后的光谱。 ②光谱数据压缩通过WT 对数据进行压缩的基本原理类似于去噪[50] ,一般采取如下步骤:先对原始数据进行WT 得到小波系数;然后用阈值法删除小波系数中足够小而被认为不代表有用信息的系数,并保存处理后的系数;需要时,将其反变换即可得到原始数据。阈值的确定一般采用经验值或通过尝试得到。 Trygg 和W old [51] 将快速Daubechies 24小波用于NIR 2Vis 光谱的数据压缩(数据压缩比为30),并将 ? 235?化 学 进 展 第16卷 ? 1995-2005 Tsinghua Tongfang Optical Disc Co., Ltd. All rights reserved. 压缩后的数据进行P LS分析,结果表明经过WT压缩的数据能够保持原始信号中的所有信息。Jetter 等人[52]采用WT对小麦的漫反射光谱进行去噪和压缩处理,建立了测定水分含量的分析模型,取得了满意的结果。Y oon[53]用Harr或Daubechies小波和硬阈值法得到的NIR压缩数据,采用DS算法实现了不同仪器间基于压缩数据所建分析模型的传递,其结果优于PDS算法。Trygg[54]利用2D小波变换的能量谱(wavelet power spectrum,WPS),提出了一种更有效的界外样品检测方法,同时可将NIR光谱数据压缩1000倍,较适合在线快速过程控制。 ③有效信息的提取 原始光谱经WT可得到反映不同信息的WT系数。根据先验知识或尝试方法,确定与组分有关的小波系数,可以直接利用这些小波系数建立定量或定性校正模型,或人为将此系数乘上大于1的倍数,然后进行重构,实现NIR光谱信息的提取。 Jouan2Rimbaud等[55]结合WT和无关变量消除方法(UVE)来提取光谱数据中与待测组分相关信息,用除去噪音和无关信息的光谱数据建立校正模型,提高了模型的预测能力。李华北[56]采用Dau2 bechies24小波对食醋的NIR光谱进行了分解,分离得到了还原糖的特征信号频率,从而提高了NIR分析食醋中还原糖的预测能力。陈斌[57]利用同样原理对NIR分析方便面中的含油率进行了优化,结果表明,与1st和2nd Der预处理方法相比,WT预处理效果较好。Depczynski[58]利用小波变换系数回归与遗传算法相结合,用于近红外光谱的多组分分析,该方法自动完成数据预处理、波长区间选择以及模型的建立,结果优于使用FT系数建模的结果。T an等人[59]用WT来消除NIR光谱中的非恒量背景,并与1st Der、MSC和OSC等预处理方法进行了比较,WT 的结果最为满意。近期,他们[60]又提出了用于光谱校正的双域P LS和PCR(DDP LS和DDPCR)方法,其校正和预测结果以及模型的稳健性均分别好于常规的P LS和PCR方法。Mittermary等人[61]也用WT消除由水分产生的NIR光谱背景,通过已知的化学知识选择信息强的小波系数,用M LR建立校正模型,其结果优于FT和2nd Der预处理经P LS建立的模型。 在WT对光谱进行预处理过程中,需要人为选择一些合适的参数,如小波基函数、压缩中的阈值、去噪中的截断尺度以及分解层次等,目前对这些参数的选择尚没有客观的标准,需要靠经验和尝试来确定。尽管如此,因WT的时频局域性、多分辨率分析和可供选择的大量基函数等特点,使其不失为一种强有力的信号预处理方法。将WT与其它新化学计量学方法如ANN和G A相结合仍是一个重要的研究热点和发展方向。 8.正交信号校正(orthog onal signal correction) 以上提到的光谱预处理方法,只是对谱图本身数据进行处理,并未考虑浓度阵的影响。所以,在进行预处理时,极有可能损失部分对建立校正模型有用的信息,又可能对噪音消除得不完全,而影响所建分析模型的质量。 正交信号校正方法是近几年来提出的一类新概念谱图预处理方法。目前有三种实现方式:正交信号校正(orthog onal signal correction,OSC)[62]、直接正交信号校正(direct orthog onal signal correction, DOSC)[63]和直接正交(direct orthog onalization, DO)[64,65],其中OSC存有多种具体算法。这类预处理方法的基本原理均基于在建立定量校正模型前,将光谱阵用浓度阵正交,滤除光谱与浓度阵无关的信号,再进行多元校正,达到简化模型及提高模型预测能力的目的。
