气候与环境研究  2017, Vol. 22 Issue (1): 45-58   PDF    
三种高分辨率格点降水预报检验方法的对比
潘留杰1,2 , 薛春芳3 , 张宏芳4 , 王建鹏2 , 姚静2     
1 中国气象局旱区特色农业气象灾害监测预警与风险管理重点实验室, 银川 750002;
2 陕西省气象台, 西安 710014;
3 陕西省气象局, 西安 710014;
4 陕西省气象服务中心, 西安 710014
摘要: 客观有效的评估高分辨率模式格点降水的预报能力,不仅是模式发展中的基础问题,而且直接关系到目前中国气象局主推的格点天气预报业务。以ECMWF(European Centre for Medium-Range Weather Forecasts)模式高分辨率降水格点预报资料、CMORPH(NOAA Climate Prediction Center Morphing Method)卫星与全国3×104个自动观测站的逐时降水量融合资料为基础,选择2015年6~8月55个降水个例,研究传统检验方法、面向对象MODE(Method for Object-based Diagnostic Evaluation)方法、以及邻域法在高分辨率格点降水预报检验中的适用性及优缺点,以期为高分辨率格点降水的预报性能评估提供参考。主要结论如下:(1)尽管点对点的传统方法在高分辨率格点降水检验中存在一定的局限,但传统方法能够在空间上表现高分辨率格点降水预报技巧的地域性差异,在时间上刻画预报的整体性能,对高分辨率格点预报性能评估仍然具有重要的适用价值;(2)邻域法的显著优点在于一方面能够通过变换邻域窗获得不同空间尺度上的传统预报技巧,另一方面独有的FSS(Fractions SkillScore)技巧评分能够表现预报相对于观测降水在格点数量上的比值,结合FSS和不同邻域窗上的传统技巧评分,可以判别在多大空间尺度上能够获得较好的预报技巧;(3)MODE方法在变换卷积半径的基础上提取降水对象,基于降水对象不仅能统计模式的传统技巧评分和预报性能的尺度变化,还可以表现降水对象的质心距离、轴角、面积、强度、综合收益、位移距离等多种属性,这些属性首先为用户提供了模式预报性能的多视角表现,其次从侧面定量描述了模式对天气系统发展快慢、槽脊强弱等预报误差,具有独特的优势,但如何应用对象属性来提高实际的预报能力还存在一些困难。
关键词: 高分辨率模式      空间检验      技巧评分      MODE      邻域法     
Comparison of Three Verification Methods for High-Resolution Grid Precipitation Forecast
PAN Liujie1,2, XUE Chunfang3, ZHANG Hongfang4, WANG Jianpeng2, YAO Jing2     
1 Key Laboratory of Characteristic Agrometeorological Disaster Monitoring and Early Warning and Risk Management in Arid Regions, China Meteorological Administration, Yinchuan 750002;
2 Shaanxi Meteorological Observatory, Xi'an 710014;
3 Shaanxi Meteorological Bureau, Xi'an 710014;
4 Shaanxi Meteorological Service Centre, Xi'an 710014
Abstract: Effective and objective assessment of the high-resolution numerical model ability to forecast gridded precipitation is not only the basis for the development of the model, but also directly related to the main objective of China Meteorological Administration to improve gridded weather forecast. Based on the ECMWF (European Centre for Medium-Range Weather Forecasts) forecast of high resolution gridded precipitation data, CMORPH (NOAA Climate Prediction Center Morphing Method) satellite data, and the fusion of hourly precipitation data collected at 30000 automatic weather stations in China, 55 precipitation cases of high resolution gridded precipitation forecast from June 2015 to August 2015 were selected for verification. Advantages and disadvantages of the traditional method were compared to that of the object-oriented MODE (Method for Object-based Diagnostic Evaluation) method and the neighborhood method to provide references for the evaluation of high-resolution gridded precipitation forecasting. The main results are:(1) Although the traditional point to point method has some limitations in verifying high-resolution gridded precipitation forecast, the traditional method can reveal regional differences in high-resolution gridded precipitation forecast skill, and depict the overall temporal performance of the model forecast. Thereby it still has important practical value for performance evaluation of high resolution gridded forecasts. (2) one significant advantage of the neighborhood method is that it can obtain traditional forecasting techniques on different spatial scales by varying the neighborhood window. On the other hand, the unique skill of this method to obtain the FSS (Fractions Skill Score) score can provide the ratio of the number of points with precipitation between observed and predicted precipitation. Combining the traditional techniques with neighborhood FSS scores on different neighborhood windows, the spatial scale on which the model has a better performance of forecast can be determined. (3) In the MODE precipitation verification method, an object is extracted on the basis of conversion convolution radius. Such objects can not only provide information similar to that obtained by the traditional techniques such as forecast skill scores and scale-depending forecast performance, but also show the centroid distance between precipitation objects, the axis angle, size, strength, comprehensive income, displacement distance, etc. These attributes can provide information of the model forecast performance from multiple perspectives and quantify errors of the weather system development speed, strength and other forecast variables. Thereby this method has unique advantages. However, there still exist some difficulties regarding how to improve the practical forecasting capability using these object attributes.
Key words: High-resolution model     Spatial forecast verification     Skill score     MODE     Neighborhood method    

1 引言

高分辨率格点降水预报是目前中国气象局的主推业务和未来天气预报的发展方向。实现高时空分辨率的格点降水预报的主要动机是改进和增强对中小尺度天气的预报能力,做到时间、空间预报的无缝隙衔接(张宏芳等,2014)。然而,这种时空无缝隙的格点预报的准确率一方面取决于高分辨率数值模式预报能力的提高,另一方面依赖于对模式产品的合理释用,因此,在模式预报性能基本稳定的前提下,加强对高分辨率模式预报产品的解释应用能力就成为提高格点降水预报能力的关键问题(卫捷等,2005)。

检验是增强对模式预报性能认知、合理释用模式产品的重要环节(Chakraborty,2010Mittermaier and Roberts,2010)。为了加深对模式预报性能的认知和提高对模式预报产品的释用能力,气象学者开展了大量的模式检验分析工作。Brownlee(1960)就设计了两变量的预报检验列联表,并通过列联表将事件进行分类,然后计算诸如命中率、误警率等技巧评分。随后发展了TS(Threat Score)评分或临界成功指数CSI(Schaefer,1990)、真实技巧评分TSS(Mason,1989)、ETS(Equitable Threat Score)(Brill and Mesinger,2009)等一系列评分指数。在国内,张寅等(2012)利用美国大气辐射测量项目(ARM)站点资料检验了NCEP 全球预报系统的大气温度、湿度、云量的预报性能;张宏芳等(2014)分析了ECMWF、日本高分辨率模式对我国暖季的降水预报能力;潘留杰等(2013)研究了ECMWF模式对东北半球温度、风场、湿度等气象要素场的预报表现。这些研究使用了粗网格模式中点对点的传统检验方法,实现时通常将模式资料转换到站点或格点对格点进行检验,在粗网格模式的预报能力评估方面广泛应用,但对高分辨率格点预报来说,一方面格点转换到站点存在精度损失,另一方面格点向站点转换后的空间代表性存在较大的局限,特别是当网格较密时,格点到站点的插值半径很小,区域代表性失真,因此传统检验方法在高分辨率模式格点预报中的适用性还有待研究。

空间检验是近年来针对高分辨率模式预报产品发展起来的新方法,与点对点的传统检验不同,空间检验方法能够反映模式预报的空间结构和尺度变化,可以为用户提供更多的参考信息(Gilleland et al.,2009)。其中,面向对象MODE(Method forObject-based Diagnostic Evaluation)方法和邻域法是高分辨率模式空间检验技术中最具有代表性方法。MODE 方法是Davis et al.(2006a2006b)在热带气旋预报表现评估技术的基础上发展起来的一种模式降水预报性能诊断方法(潘留杰等,2015a薛春芳和潘留杰,2016),这种方法通过设定降水阈值和卷积半径来对降水场进行空间卷积,进而实现了类似个例分析中空间降水对象的人工提取和抽象,部分的反映了预报员或研究人员的视觉分析能力(Johnson et al.,2013),在高分辨率格点预报检验方面具有一定的优势。邻域法(Theis et al.,2005Ebert,2008Roberts and Lean,2008潘留杰等,2015b)则是通过比较预报和观测场中对应点邻近区域内的特征而命名,当预报值相对于观测点位置有偏移时,邻域法认为预报仍然是可用的,能够接受位移的大小或程度被定义为邻域。这两种方法物理意义清晰,易于直观理解和应用,但由于这些方法是近年来伴随高分辨率模式而发展起来的新技术,国内鲜有应用,使用者在方法适应范围的界定上还存在一些困惑。本文以ECMWF 高分辨率降水预报产品为基础,分析传统评分、邻域法以及MODE 方法在高分辨率降水格点预报检验方面的优缺点及适用性,以期为高分辨率格点预报检验提供参考。

2 资料和方法介绍 2.1 资料

考虑到本文主要比较三种方法针对高分辨率模式预报检验的适用性,因此不做长时段的统计分析,选择2015 年6 月9~30 日、7 月3~24 日、8月6~16 日共55 个降水个例做为研究对象。ECMWF 模式资料选择为每日20:00(协调世界时,下同)起报的降水预报,原始分辨率为0.125°(纬度)×0.125°(经度)。观测资料采用中国气象科学数据信息网CMORPH(NOAA Climate PredictionCenter Morphing Method)卫星与全国3×104 个自动观测站的逐时降水量融合产品(http://www.escience.gov.cn/metdata-/page/index.html [2015-09-01]),时段与模式预报一致,空间分辨率0.1°(纬度)×0.1°(经度)。有研究表明(潘旸等,2012沈艳等,2013),CMORPH 卫星与自动站降水融合资料能够较好的表现我国夏季降水的实际分布情况,可以作为参照物来评估模式的预报性能。为了更好的分析三种检验方法在高分辨率模式检验方面的特性,采用距离权重法将模式预报和观测资料均降尺度变换到0.04°(纬度)×0.04°(经度)。

2.2 方法介绍

传统检验方法主要基于点对点的对比,评估模式的预报性能。计算时,首先利用列联表将预报和观测降水事件进行判定,对符合阈值条件的降水时间赋值为“1”,反之则赋值为“0”,在此基础上计算一系列的技巧评分指数。传统检验方法在高分辨率格点预报的评估方面应用较少,但在粗网格模式检验中广泛应用,因此这里对传统检验方法不做详细介绍,着重阐述针对高分辨率格点预报的空间检验方法。

2.2.1 邻域法

邻域法也被称之为模糊法,其显著优势在于它不仅能够捕获模式预报能力的空间尺度,而且可以继承传统检验方法的一些评分指数(Weusthoff et al.,2010)。图 1 给出了邻域法匹配方案示意图,其邻域半径为3 个格点。图中显示,如果仅仅考虑单个格点的预报,邻域窗内中心格点的降水是空报的,但对整个邻域窗来说,预报与观测降水的格点面积与总面积的比值均为7/25,预报正确。

图 1 邻半径为3 个格点的降水预报、观测匹配方案示意图:(a)模式预报;(b)观测。阴影部分表示降水量超过阈值的格点 Fig. 1 Schematic diagram of matching observation and forecast of precipitation,the adjacent radius is set to be three grids:(a)Model forecast;(b)observation. Shaded grids are grids with precipitation exceeding the threshold

邻域窗为n 的预报场与观测场降水面积的均方误差定义为FBS(Fraction Brier Score)评分。由于FBS 是一种负向评分指数,即FBS 越小,模式预报技巧越高,因此,对FBS 评分(FBS)进行转换即为FSS(Fractions Skill Score)评分(FSS),表达式分别为

${{F}_{\text{BS}}}\text{=}\frac{1}{{{N}_{x}}{{N}_{y}}}\sum\limits_{i=1}^{{{N}_{x}}}{\sum\limits_{j=1}^{{{N}_{y}}}{{{\left[ {{O}_{\text{r}}}-{{M}_{\text{r}}} \right]}^{2}},}}$ (1)
${{F}_{\text{SS}}}\text{=}1-\frac{{{F}_{\text{BS}}}}{\frac{1}{{{N}_{x}}{{N}_{y}}}\left[ \sum\limits_{i=1}^{{{N}_{x}}}{\sum\limits_{j=1}^{{{N}_{y}}}{O_{\text{r}}^{2}+\sum\limits_{i=1}^{{{N}_{x}}}{\sum\limits_{j=1}^{{{N}_{y}}}{M_{\text{r}}^{2}}}}} \right]},$ (2)

其中,i 为区域x 轴方向的格点,i=1,2,…,Nxjy 轴方向的格点,j=1,2,…,NyNxNy 分别为研究区域内xy 方向的格点总数;OrMr 分别表示邻域窗内观测场和模式预报场超过阈值的格点与总格点的比值。式(2)中分母表示超过阈值的格点与总格点的比值的均方误差最大值,可以认为是最坏情况下的预报。FSS 趋于0 时表示无预报技巧。

2.2.2 MODE 方法

MODE 方法的基本观念来自Davis et al.(2006a2006b),实现时首先通过给定的卷积半径R 对原始降水场卷积,然后按给定的阈值解析出满足条件的空间降水对象,在此基础上计算各对象的降水强度、轴角、面积等各种属性。为了分析模式对降水系统(对象)预报的总体差异和位置上的不同,本文增加定义质心位移、对称偏差两个统计量,其中对称偏差定义为预报和观测对象非重叠面积部分的总和,对称偏差越小预报效果越好,质心位移分别为质心距离在xy 轴方向的分量Δx、Δy,其详细概念参见 Wolff et al.(2014)文献图 13。

图 2 2015 年7 月11 日Mode 方法评估个例,卷积半径为1 个格点,卷积阈值2 mm。(a)模式预报和(b)观测24 h 降水量;(c)预报场中和(d)观测场中的组合对象,不同颜色和编号分别表示预报和观测对象的匹配情况 Fig. 2 The test case of using MODE(Method for Object-based Diagnostic Evaluation)method, the convolution radius is set to 1 grid and the precipitationthreshold is set to 2.0 mm to identify the objects.(a)Model forecast and(b)observation of 24-h precipitation, (c)and(d)composite objects of forecasting andobservation, respectively, different colors and numbers in(c)and(d)indicate the matching of forecast and observation objects

考虑到一个对象的不同属性可能有不同的表现,还采用模糊逻辑来综合各种属性的总体表现,从而计算预报对象的总收益函数T(a):

$T\left( a \right)=\frac{\sum\limits_{i}{{{w}_{i}}{{C}_{i}}\left( a \right){{I}_{i}}\left( {{a}_{i}} \right)}}{\sum\limits_{i}{{{w}_{i}}{{C}_{i}}\left( a \right){{I}_{i}}}},$ (3)

其中,ai表示对象的第i 个属性,wi表示对象第i个属性的权重系数,Ci(a)表示第i 个属性的置信水平,Ii(ai)表示预报场对象的第i 个属性的收益函数,是ai的函数。计算时主要考虑降水强度比率、面积比率、轴角偏差、复杂度比率和对象重叠面积比率。

3 结果分析 3.1 单个个例分析

传统技巧评分可以在邻域法和MODE 对象识别的基础上展开,为此,通过个例比较三种方法在传统技巧上的共性,3.2 节则给出三种方法的统计特性。按照技巧评分指数的适用性,选择物理意义清晰、直观的三种传统评分指数进行分析,主要包括:预报偏差Bias,表示预报事件发生的次数与观测事件发生的次数的比率,Bias>1 表示预报事件高于观测事件的发生频率,Bias<1 则相反,理想情况下Bias=1;CSI 评分,表示事件发生的正确预报次数与事件发生总次数(预报或观测)的比率;以及表征预报可能发生而实际未发生的误警率。为了分辨气候背景对指数表现的影响,另外计算了观测事件的实际发生频率,即观测频率,观测频率也通常被称之为样本的平均态。为了方便表述,先基于MODE 方法给出一个降水个例,需要说明的是,针对单个个例的MODE 方法检验也为其独有特点。

MODE 检验可以判别独立对象,也可以通过规则对对象进行组合。组合匹配对象判别时采用了质心距离、重叠面积、收益T(a)等多重阈值限定,当满足轴角、重叠面积阈值的对象,质心距离D 小于其尺度之和,则判定这两个对象空间位置是对应的,公式为:$D<A_{\text{f}}^{1/2}+A_{\text{o}}^{1/2}$,AfAO分别表示预报与观测场中对象的面积。图 2 给出了2015 年7月11 日的一个具体的MODE 方法检验个例,卷积半径设为1 个格点,卷积阈值设为2 mm。可以看出,ECMWF 模式(图 2a)预报降水区域主要位于华东、西南、青藏高原、新疆北部以及东三省交界处,24 h 降水最强达50 mm 以上。观测降水(图 2b)范围和模式预报基本一致,但总体来说,模式预报范围偏大,强度偏强。尤其是在华南和华东地区出现了大面积的空报。图 2c2d 分别为预报和观测场中对象,不同颜色的对象和编号分别表示了对象的匹配情况。可以看出,共识别出了14 个组合匹配对象,观测场中(图 2d)还出现了多个局地性降水对象,在预报场中没有匹配,这些地方出现了漏报或降水量级未满足阈值标准。

表 1 给出了14 个匹配组合对象的详细属性分布值,可以看出,匹配对象的质心距离分布范围为1.30~100.83 km,这和匹配对象的对称偏差的变化趋势非常一致,对称偏差的值域范围为12~12562km²,当对象的面积越大,质心距离往往也越大,两者的相关系数达 0.837。分析两者的位移Δx和Δy,发现匹配对象的质心距离的主要贡献来自于Δx,Δx最大绝对值为 84.57 km,而Δy最大仅为58.82 km,即降水对象的纬向偏离程度总体小于经向,分析认为可能的原因是天气尺度的降水系统(降水范围大)主要是由槽或脊的移动引起的,模式对槽脊移动快慢的预报往往偏快或偏慢,而对模式由热力变化引起的系统的南北差异一般具有较好的预报能力。

表 1 预报与观测对应组合对象属性及总收益 Table 1 Attributes and interests of the composite objects

从降水强度来看,模式预报的50%分位数值域分布范围为2.43~26.37,观测为3.04~15.97,其90%分位数分别为2.90~123.1和4.40~78.76,即模式预报的降水量值域范围更大。对此次降水过程而言,模式对强降水预报有中心值系统性偏大的趋势,对中等强度以下降水预报中心值系统性的偏小,这种现象在50%和90%分位数上都有较好的表现。轴角偏差表示了预报和观测对象与x 轴夹角的差值的绝对值,轴角越小,预报对象与观测对象的经向、纬向形态越一致,面积较大的对象或系统性的降水往往是由槽脊的移动或传播引起的,因此大面积降水对象的轴角偏差在一定程度上也表现了模式对槽脊的强度或移动快慢的预报能力。在此次降水过程中,6、8、13、14 属系统性降水,其中6号和13 号对象分别是由台风和东北涡引起的,模式预报较好,而对高原影响(14 号对象)和冷空气活动(8 号对象)触发的降水预报能力相对较弱。匹配对象的总收益函数整体表现较好,数值上均达到0.74 以上,MODE 方法在定义多家模式组合对象的匹配关系时,限定总收益函数T(a)>0.6 为基本条件,而此次过程的14 个组合对象的T(a)值远高于基础阈值,即ECMWF 模式对降水的预报能力整体较好。

表 2 为基于传统方法、MODE 组合匹配对象和不同邻域半径下的传统技巧评分,可以看出,传统技巧评分和邻域半径为1 的技巧评分完全一致,因此,邻域法是传统技巧评分的扩展,或者说传统技巧评分是邻域法的一个特例。MODE 的传统技巧评分显著高于其它两种方法,但由于MODE 计算传统技巧评分时,是在不同卷积半径和降水阈值的匹配对象上展开,忽略了空报和漏报对象的情况,因此,不表现真实的预报技巧。调整邻域半径可以改变CSI 评分,但同时也改变了误警率,表 2 显示,邻域半径从1 增大到9 时,CSI 增加了0.008,误警率增加了0.019,表明邻域半径的增大,增加了空报的风险。

表 2 三种检验方法的传统技巧评分 Table 2 Traditional skill scores from the three verification methods
3.2 统计结果 3.2.1 传统检验

图 3 给出了55 个个例24~48 h 的统计技巧评分。样本平均态(图 3a)显示降水频率高值区主要位于我国的华南、华中、西南地区和甘肃南部,部分地方降水发生频率达到0.95 以上。次高值陕西北部、山西、河北、内蒙、黑龙江东部样本日降水频率达到0.5 以上。此外,新疆北部出现了分散的降水高值区。降水频率低值区主要位于新疆南部以及黑龙江、吉林、辽宁交界处;云南、贵州、广西接壤地段则为降水频率相对低值区。预报偏差(图 3b)整体与样本频率呈反位相,总体显示,位于青藏高原的西部、华南部分地方观测样本的频率高值区,预报偏差偏低,而观测样本的频率低值区,预报偏差相对偏高。误警率(图 3c)则具有显著的纬向分布特征,对西南、华南、华东的低纬度地区来说,误警率整体小于0.1,表明模式在低纬度地区晴雨的降水预报一般不会报空。高纬度地区误警率整体达0.3 以上,特别是新疆中部误警率达0.9 以上,模式空报现象显著。降水的CSI 评分(图 3d)与观测降水的发生频率(图 3a)显著正相关,位于区四川西部以及安徽、江苏交界处的观测频率高值区,CSI 值达0.8 以上,而在新疆南部部分地方CSI小于0.1,表明CSI 评分受样本气候概率影响显著。

图 3 ECMWF 模式24~48 h 发生降水的预报技巧评分的空间分布:(a)发生小雨的样本平均态观测频率;(b)预报偏差;(c)误警率;(d)CSI 评分 Fig. 3 Spatial distributions of forecast skill scores of 24−48 h light rain for ECMWF model:(a)Base rate;(b)bias;(c)false alarm rate;(d)CSI

图 4 为模式技巧评分的时间演变。就平均态来看(图 4a),所选样本发生降水的频率位于0.659~0.701,10 mm 以上降水的频率则显著降低,全国出现50 mm 以上量级暴雨的频率偏低更为显著,值域范围为0.007~0.011。模式对降水的预报频率整体偏高(图 4b),晴雨的降水预报偏差在预报时效上表现稳定,从第1 天到第10 天,预报偏差维持在1.408~1.516,而且无显著的趋势性变化;相比之下,10 mm 以上降水预报偏差呈现出明显的抛物线形变化趋势,预报偏差从第2 天开始逐渐增长,第7 天开始下降,这种现象在暴雨的预报上表现更为显著。模式对晴雨的误警率(图 4c)整体维持在0.2 以下,随预报时效的增加,变化也不大。对晴雨预报来说,可以通过建立预报阈值,调整预报偏差来提高预报技巧,但这种阈值在不同区域会差别很大,结合图 2c,可以看出低纬度地区调整的可能性较小,而在西北、华北等高纬度地区有较大的订正空间。对10 mm 以上的降水来说,前3 天误警率变化不大,甚至50 mm 以上的暴雨在第3 天还有更好的表现,这可能是由于模式本身对暴雨的预报具有不确定性引起的,但超过72 h 后,10 mm 以上降水的误警率显著增长,而且随着降水量级的增加,误警率也呈线性增长。与误警率表现相反,CSI 评分(图 4d)随预报时效的增加逐渐下降,但小雨以上量级降水的预报整体表现较好,值域范围为0.453~0.565,第10 天预报仍然较为成功。当降水量级增大时,CSI 显著下降,第1 天暴雨CSI 评分为0.215。模式对大量级降水的CSI 评分降低,可能的原因有两个,一方面是模式本身对暴雨的预报能力有待提高,另一方面是CSI 评分直接和气候背景相关,而暴雨发生的频次显著偏低(图 4a),因此用CSI 来对比小雨和暴雨的预报能力可能存在一定的不足。

图 4 预报时效为10 天的模式逐日传统预报技巧的时间演变:(a)观测频率;(b)预报偏差;(c)误警率;(d)CSI 评分 Fig. 4 Temporal evolutions of daily precipitation forecast skill scores of ECMWF model for 10-d forecast periods:(a)Base rate;(b)bias;(c)false alarm rate;(d)CSI
3.2.2 邻域法

邻域法的显著优势在于一方面传统的技巧评分可以基于邻域法展开,另一方面可以判别模式在多大空间尺度上的预报技巧表现最优。对高分辨率模式预报来说,邻域法相当于“升尺度技术”(UpScaling)。实际计算时,可以选择圆形邻域窗或正方形邻域窗,其中正方形邻域窗相对简单,不用考虑格点分割问题,因此,本文选择正方形邻域窗。

邻域窗通常以奇数个格点为半径,当邻域半径为1 时,表示格点本身的预报技巧,本文计算的邻域半径包括1,3,5,7,…,45 个格点,单个邻域半径的空间分辨率为0.04°,相当于4 km 左右,因此计算的空间尺度为4~180 km。图 5 给出了不同空间尺度和邻域半径下模式的CSI和FSS 评分表现。可以看出,CSI 随着空间尺度的变化,总体呈抛物线趋势变化,即当空间尺度较小时,CSI 表现并不最优。降水阈值为0.1 mm 时,4 km 空间尺度,CSI评分为0.521,随着尺度的增大,CSI 逐渐增长,到邻域半径100 km 时,CSI 达到最大0.545,然后逐渐下降,其它降水阈值上CSI 也有类似表现,CSI在60~100 km 邻域半径上表现整体偏高。

图 5 不同降水阈值和空间尺度下,模式24~48 h 模式的预报技巧评分:(a)CSI 评分;(b)FSS 评分。图中数字表示相应的技巧评分数值 Fig. 5 Skill scores of ECMWF 24−48 h precipitation forecast for different thresholds of precipitation and spatial scales:(a)CSI;(b)FSS. The numbers in boldin the plots give the corresponding values of scores

FSS 评分表示预报和观测重叠格点的比率,FSS 为0 值时表示预报和观测完全分离。在样本足够多的情况下,给定邻域或空间窗n,FSS 的典型变化总是随着邻域窗n 的增大逐渐增大的,直到其达到n=2N−1,N 表示沿邻域窗长轴方向的格点数。理想情况下预报和观测降水事件发生的频率相同,FSS 随着邻域窗的增加逐渐趋于1,实际上模式预报和观测对降水事件发生的频率往往不尽相同,增加尺度FSS 往往小于1。图 5b 显示出了FSS 随邻域半径增加而增大的特性。降水阈值为0.1 mm 时,60 km 空间尺度FSS 为0.801,空间尺度增大到100 km 时,FSS 为0.827,FSS 线性增长,但增副并不显著。

图 6 给出了不同邻域半径下,逐日传统预报技巧的时间演变。可以看出,无论是小雨(图 6a)还是暴雨FSS(图 6b)总是随着邻域半径的增大而增大,随着预报时效的增加而减小,这与图 5 的表现是一致的。对小雨来说,28 km 以下空间尺度,增加邻域半径可以获得显著的FSS 收益,但当邻域半径大于28 km 时,FSS 增幅相对减缓,这种增加幅度在不同的预报时效上基本相同;对暴雨(图 6b)而言,前6 天,增加空间尺度FSS 增幅明显,7 天之后FSS 增幅减缓。结合图 5a,可以看到增加空间尺度,可以同时获得较好的CSI和FSS 评分,但同时增大了误警率,即空报的风险增大,因此用户可以根据自身的需求选择合适的邻域半径。

图 6 不同邻域半径下,逐日传统预报技巧的时间演变:(a)小雨FSS 评分;(b)暴雨FSS 评分;(c)小雨观测频率;(d)暴雨观测频率;(e)小雨CSI 评分;(f)暴雨CSI 评分;(g)小雨误警率;(f)暴雨误警率 Fig. 6 Temporal evolutions of traditional skill scores of daily precipitation forecast of ECMWF 10-d forecasts at different spatial scales:(a)FSS for light rain;(b)FSS for heavy rain;(c)base rate for light rain;(d)base rate for heavy rain;(e)CSI for light rain;(f)CSI for heavy rain;(g)false alarm rate for light rain;(h)falsealarm rate for heavy rain

小雨的预报偏差(图 6c)在52 km 以下的邻域半径上,随空间尺度的变化和FSS 表现基本一致,但在预报时效上存在明显的趋势性变化,1 天预报时效上表现最为理想,第3 天达到峰值,然后下降,第7 天达到低谷,然后又逐渐上升。暴雨预报偏差在预报时效上(图 6d)呈抛物线型变化。增大邻域半径,总体上使小雨、暴雨预报偏差增大,表现为负效果,但小雨CSI(图 6e)往往有较好的表现,暴雨在2 天内的预报时效上,CSI 也有一定的增加,可能的原因是,预报偏差增大,空报率增大,但减小的漏报率,总体CSI 表现为正效果。从误警率来看,小雨误警率(图 6g)随预报时效的增加显著增大,但随邻域半径的变化并不显著;暴雨预报(图 6h)则在2 天内减小了误警率,预报时效超过2 天,邻域半径的增加对误警率的效果是不确定的,可能的原因是受样本大小的影响。

3.2.3 MODE 检验

基于MODE 方法获得降水对象后计算的传统技巧评分,和变换邻域窗计算的传统技巧评分效果基本一致。图 7 为MODE 方法针对降水对象特有属性的统计表现,由于篇幅所限,仅给出了质心距离、对称偏差、轴角偏差3 个统计量。可以看出,对小雨以上量级的降水(图 7a)来说,卷积半径为1 个格点时,平均值域范围为13.58~17.14 个格点;随着预报时效的增加,质心距离有增加的趋势,前5 天表现较好,7~8 天相对较差。质心距离随卷积半径的变化则具有选择性,当卷积半径大于44 km后,质心距离总体下降;暴雨以上量级降水对象的质心距离(图 7b)随预报时效的变化趋势和小雨(图 7a)基本一致,前3 天表现较好,4 天以后急剧增加,7~8 天达到峰值,最大达38.35 个格点,表明第7~8 天模式强降水中心位置偏离较大,预报能力最弱,这和传统暴雨技巧CSI 评分(图 4d)、邻域法CSI 评分(图 6f)具有一致性。前3 天暴雨对象的质心距离在某些卷积半径上还优于小雨,此外,当卷积半径较小时,质心距离在预报时效上的变化并不显著,但卷积半径增大时,质心距离明显增大,发生这两种现象可能的原因是质心距离受对象面积的影响比较大,对小雨量级降水对象来说,受弱降水的影响质心发生了偏离,而对暴雨以上量级的降水对象,当卷积半径显著增大时,一些面积较小的对象就可能被平滑。

图 7 MODE 检验方法获得的对象属性:(a)、(b)分别为卷积半径为1 个格点,降水阈值0.0 mm、50.0 mm 识别对象的质心距离;(c)、(d)与(a)、(b)相同,但为对称偏差;(e)、(f)与(a)、(b)相同,但为轴角偏差 Fig. 7 The attributes of precipitation objects by using MODE method:(a)and(b)centroid distances with the convolution radius of 1 grid and the precipitationthreshold of 0.0 mm and 50.0 mm respectively, (c)and(d)the same as(a)and(b)but for the symmetric differences, (e)and(f)the same as(a)and(b)but forthe axis angle differences

小雨降水对象的对称偏差与质心距离随预报时效的变化基本一致(图 7c),卷积半径1 个格距时,1~10 天全国范围内平均对称偏差的值域为5028~10441 km²,随着卷积半径的改变,对称偏差没有一致性变化趋势。对暴雨以上量级降水来说(图 7d),其时间演变呈现出抛物线型,这种抛物线型与传统检验(图 3b)和邻域法(图 5d)的预报偏差非常一致。分析发现,预报偏差Bias =(a + c)/(a + b),式中a 为成功预报降水的次数,b 为漏报的次数,c为空报的次数,预报偏差总体表现了预报相对与观测偏多的频次,而对称偏差则为预报相对与观测的非重叠面积,在数值上等于(b + c)与格点的积,当格点数一定时,仅受(b + c)影响。对于大样本统计来说,模式漏报次数通常为小项,而对称偏差(b + c)≈ c,因此在模式预报性能稳定的情况下,预报偏差和对称偏差都能够表现模式预报频次偏多数值的大小。增大卷积半径整体使得轴角偏差减小,对小雨以上量级降水对象(图 7e)来说,卷积半径为4 km 时,轴角偏差平均为32°左右,当卷积半径增大到52 km 时,轴角偏差平均为20°;暴雨对象(图 7f)轴角偏差基本和小雨对象一致,但数值上显著偏小,卷积半径4 km 时,平均轴角偏差约为25°;出现这两种现象可能的原因是,一方面小雨对象面积远远大于暴雨对象,另一方面卷积相对于平滑,卷积半径越大,平滑越显著,导致轴角随卷积半径的增大而减小。

由于轴角偏差是当降水对象拟合为椭圆时,其长轴与x 轴的夹角,而夹角的大小与位移偏差的两个分量Δx、Δy 密切相关,因此详细分析位移偏差的预报表现。从图 8 可以看出,对于小雨(图 8a8b)来说,降水对象的经向位移Δx >> Δy,针对全国范围而言,小雨以上量级降水对象面积较大,对槽脊或大尺度系统引起降水来说,这种经向误差偏大表明降水对象位置的预报误差主要来自于槽脊预报的偏快或偏慢。对暴雨来说(图 8c8d),这种现象同样存在,经向位移显著大于纬向,而且暴雨降水对象的质心位移显著大于小雨对象。比较不同卷积半径下,Δx、Δy 的表现,发现增大卷积半径,Δx、Δy 绝对值总体增大,但相对值上,卷积半径从1 个格点增加到13 个格点时,Δx有由负变正的趋势,Δy有由正变负的趋势,即在1~13 个格点的卷积区间内,存在Δx、Δy为零值或最优的可能,这种现象为不同降水阈值条件下,通过变换尺度来获得较好的技巧评分提供了基础。

图 8 匹配对象的质心位移偏差:(a)卷积半径为1 个格点,降水阈值>0.0 mm;(b)卷积半径13 个格点,降水阈值>0 mm;(c)卷积半径为1 个格点,降水阈值>50 mm;(d)卷积半径为13 个格点,降水阈值>50 mm Fig. 8 The centroid displacements of matched precipitation objects:(a)The convolution radius is 1 grid and the precipitation threshold is larger than 0.0 mm;(b)the convolution radius is 13 grids and the precipitation threshold is greater 0.0 mm;(c)the convolution radius is 1 grid and the precipitation threshold is 50.0mm;(d)the convolution radius is 13 grids and the precipitation threshold is 50.0 mm
4 结论和讨论

传统的模式检验方法通过点对点的对比分析,提供诸如误警率、预报偏差、TS 评分等一系列指数来判别模式的预报技巧,针对高分辨率模式而言,存在一定的缺陷,主要不足在于:(1)用相同的方式处理预报和观测不匹配事件而不能区分错误的类别;(2)点对点的检验易受高分辨率模式中一些细小相位误差的影响,不能反映模式预报的空间结构、预报能力的尺度变化。但传统方法在高分辨率模式检验方面仍然具有较好的适用性。其原因在于一方面传统检验方法应用已久,提供的技巧评分物理意义清晰,易为业务科研人员理解和应用;另一方面,这种点对点的检验在时间演变上能够提供模式预报性能的整体表现,在空间上能够反映模式预报性能的区域性差异。所以,尽管点对点的检验是在粗网格模式基础上发展起来的检验方法,但合理应用这些方法,对理解高分辨率模式的预报能力仍然具有较好的应用意义。

邻域法是针对用户主观认为高分辨率模式预报性能较好,但其传统技巧评分却较低的情况下发展起来的一种检验方法,其本质上是传统检验方法在空间尺度上的扩展,或者说传统检验方法是邻域法在空间尺度上的一个特例。高分辨率模式传统技巧评分较低的原因在于一方面实际观测站网稀疏,和高分辨率模式网格不匹配;另一方面模式分辨率越高,传统方法对预报与观测的空间分布一致性要求越苛刻,对高分辨率模式预报性能的评定并不一定合理。因此,邻域法假定在一定的空间范围内,预报和观测降水格点数达到相应的比值,就认为预报是正确的。FSS 是邻域法最主要的评分指数。各种传统技巧评分也可以在不同的邻域窗内展开。结合FSS 评分和给定邻域窗上的传统技巧评分,可以判别模式在多大的空间尺度上有较好的预报技巧表现。因此,邻域法在高分辨率模式预报能力的尺度分析上优势显著。具体多大的空间尺度最优,需要用户结合需求加以判断,主要原因在于,尽管增大空间尺度,增大了CSI 评分,但同时有可能增加误警率。

MODE 方法通过卷积提取降水对象,基于降水对象,不仅能够统计传统技巧评分和分析模式预报技巧评分的尺度特征,还可以分析观测和预报对象的空间匹配情况,计算模式预报性能的总体表现。此外,MODE 方法的独特优势在于可以分析预报和观测降水对象在诸如面积、强度、质心距离、位移距离等属性的空间表现。这些属性不仅能够从侧面表现模式对天气系统发展快慢、槽脊强弱等方面的预报误差,而且为用户提供了多方面了解模式预报性能的手段。MODE 方法也存在一些缺陷,首先尽管MODE 方法提供了各种对象的属性特征,但是如何利用这些属性来提高实际的预报能力仍然存在困难,其次MODE 方法不如邻域法在降水预报能力的尺度描述上清晰。

参考文献
[] Brill K F, Mesinger F. 2009. Applying a general analytic method for assessing bias sensitivity to bias-adjusted threat and equitable threat scores[J]. Wea. Forecasting, 24(6): 1748–1754. DOI:10.1175/2009WAF2222272.1
[] Brownlee K A. 1960. Statistical Theory and Methodology in Science and Engineering[M]. New York: John Wiley & Sons Wiley: 26-30.
[] Chakraborty A. 2010. The skill of ECMWF medium-range forecasts during the year of tropical convection 2008[J]. Mon. Wea. Rev., 138(10): 3787–3805. DOI:10.1175/2010MWR3217.1
[] Davis C, Brown B, Bullock R. 2006a. Object-based verification of precipitation forecasts. Part I:Methodology and application to mesoscale rain areas[J]. Mon. Wea. Rev., 134(7): 1772–1784. DOI:10.1175/MWR3146.1.
[] Davis C, Brown B, Bullock R. 2006b. Object-based verification of precipitation forecasts[J]. Part II:Application to convective rain systems[J]. Mon. Wea. Rev., 134(7): 1785–1795. DOI:10.1175/MWR3146.1
[] Ebert E E. 2008. Fuzzy verification of high-resolution gridded forecasts:A review and proposed framework[J]. Meteorological Applications, 15(1): 51–64. DOI:10.1002/met.25
[] Gilleland E, Ahijevych D, Brown B G. 2009. Intercomparison of spatial forecast verification methods[J]. Wea. Forecasting, 24(5): 1416–1429. DOI:10.1175/2009WAF2222269.1
[] Johnson A, Wang X G, Kong F Y, et al. 2013. Object-based evaluation of the impact of horizontal grid spacing on convection-allowing forecasts[J]. Mon. Wea. Rev., 141(10): 3413–3425. DOI:10.1175/MWR-D-13-00027.1
[] Mason I. 1989. Dependence of the critical success index on sample climate and threshold probability[J]. Aust. Meteor. Mag., 37: 75–81.
[] Mittermaier M, Roberts N. 2010. Intercomparison of spatial forecast verification methods:Identifying skillful spatial scales using the fractions skill score[J]. Wea. Forecasting, 25(1): 343–354. DOI:10.1175/2009WAF2222260.1
[] 潘旸, 沈艳, 宇婧婧, 等. 2012. 基于最优插值方法分析的中国区域地面观测与卫星反演逐时降水融合试验[J]. 气象学报, 70(6): 1381–1389. Pan Yang, Shen Yan, Yu Jingjing, et al. 2012. Analysis of the combined gauge-satellite hourly precipitation over China based on the OI technique[J]. Acta Meteorologica Sinica (in Chinese), 70(6): 1381–1389. DOI:10.11676/qxxb2012.116
[] 潘留杰, 张宏芳, 朱伟军, 等. 2013. ECMWF模式对东北半球气象要素场预报能力的检验[J]. 气候与环境研究, 18(1): 111–123. Pan Liujie, Zhang Hongfang, Zhu Weijun, et al. 2013. Forecast performance verification of the ECMWF model over the northeast hemisphere[J]. Climatic and Environmental Research (in Chinese), 18(1): 111–123. DOI:10.3878/j.issn.1006-9585.2012.11097
[] 潘留杰, 张宏芳, 王建鹏. 2014. 数值天气预报检验方法研究进展[J]. 地球科学进展, 29(3): 327–335. Pan Liujie, Zhang Hongfang, Wang Jianpeng. 2014. Progress on verification methods of numerical weather prediction[J]. Advances in Earth Science (in Chinese), 29(3): 327–335. DOI:10.11867/j.issn.1001-8166.2014.03.0327
[] 潘留杰, 张宏芳, 袁媛, 等. 2015a. 基于T639细网格模式的陕西省秋淋天气预报效果评估[J]. 气象与环境学报, 31(6): 9–17. Pan Liujie, Zhang Hongfang, Yuan Yuan, et al. 2015a. Verification of precipitation forecasting for autumn continuous rainfall by T639 refined grid model in Shaanxi province[J]. Journal of Meteorology and Environment (in Chinese), 31(6): 9–17. DOI:10.3969/j.issn.1673-503X.2015.06.002
[] 潘留杰, 张宏芳, 陈小婷, 等. 2015b. 基于邻域法的高分辨率模式降水的预报能力分析[J]. 热带气象学报, 31(5): 632–642. Pan Liujie, Zhang Hongfang, Chen Xiaoting, et al. 2015b. Neighborhood-based precipitation forecasting capability analysis of high-resolution models[J]. Journal of Tropical Meteorology (in Chinese), 31(5): 632–642. DOI:10.16032/j.issn.1004-4965.2015.05.006
[] Roberts N M, Lean H W. 2008. Scale-selective verification of rainfall accumulations from high-resolution forecasts of convective events[J]. Mon. Wea. Rev., 136(1): 78–97. DOI:10.1175/2007MWR2123.1
[] 沈艳, 潘旸, 宇婧婧, 等. 2013. 中国区域小时降水量融合产品的质量评估[J]. 大气科学学报, 36(1): 37–46. Shen Yan, Pan Yang, Yu Jingjing, et al. 2013. Quality assessment of hourly merged precipitation product over China[J]. Journal of Nanjing Institute of Meteorology (in Chinese), 36(1): 37–46. DOI:10.3969/j.issn.1674-7097.2013.01.005
[] Theis S E, Hense A, Damrath U. 2005. Probabilistic precipitation forecasts from a deterministic model:A pragmatic approach[J]. Meteorological Applications, 12(3): 257–268. DOI:10.1017/S1350482705001763
[] 卫捷, 张庆云, 陶诗言. 2005. 2004年夏季短期气候集成预测及检验[J]. 气候与环境研究, 10(1): 19–31. Wei Jie, Zhang Qingyun, Tao Shiyan. 2005. The ensemble seasonal climate prediction for 2004 summer and its verification[J]. Climatic and Environmental Research (in Chinese), 10(1): 19–31. DOI:10.3969/j.issn.1006-9585.2005.01.002
[] Weusthoff T, Ament F, Aroagaus M, et al. 2010. Assessing the benefits of convection-permitting models by neighborhood verification:Examples from MAP D-PHASE[J]. Mon. Wea. Rev., 138(9): 3418–3433. DOI:10.1175/2010MWR3380.1
[] Wolff J K, Harrold M, Fowler, et al. 2014. Beyond the basics:Evaluating model-based precipitation forecasts using traditional, spatial, and object-based methods[J]. Wea. Forecasting, 29(8): 1451–1471. DOI:10.1175/WAF-D-13-00135.1
[] 薛春芳, 潘留杰. 2016. 基于MODE方法的日本细网格模式降水预报的诊断分析[J]. 高原气象, 35(2): 406–418. Xue Chunfang, Pan Liujie. 2016. Diagnostic analysis of precipitation forecasting from Japan thin-grid model based on MODE[J]. Plateau Meteorology (in Chinese), 35(2): 406–418. DOI:10.7522/j.issn.1000-0534.2015.00010
[] 张宏芳, 潘留杰, 杨新. 2014. ECMWF、日本高分辨率模式降水预报能力的对比分析[J]. 气象, 40(4): 424–432. Zhang Hongfang, Pan Liujie, Yang Xin. 2014. Comparative analysis of precipitation forecasting capabilities of ECMWF and Japan high resolution models[J]. Meteorological Monthly (in Chinese), 40(4): 424–432. DOI:10.7519/j.issn.1000-0526.2014.04.004
[] 张寅, 罗亚丽, 管兆勇. 2012. NCEP全球预报系统在ARM SGP站点预报大气温度、湿度和云量的检验[J]. 大气科学, 36(1): 170–184. Zhang Yin, Luo Yali, Guan Zhaoyong. 2012. Temperature, relative humidity, and cloud fraction predicted by the NCEP global forecast system at the ARM SGP site during 2001-2008:Comparison with ARM observations[J]. Chinese Journal of Atmospheric Sciences (in Chinese), 36(1): 170–184. DOI:10.3878/j.issn.1006-9895.2012.01.13