A 2014-es szezonban kiadott konvektív előrejelzések verifikációja
A 2014-es év verifikációja a konvektív félév észlelt eseményeinek és előrejelzéseinek összegzésével állt elő. A verifikációs időszak április 1-től szeptember 30-ig tartott, ez 183 napot jelent. Amelyik napon nem adtunk ki előrejelzést, azt nemleges előrejelzésnek vettem. Tíz darab esemény bekövetkezését vizsgáltam: villámárvíz, MKR, bow echo, szupercella, heves jégeső, szignifikáns jégeső, heves szélvihar, szignifikáns szélvihar, mezociklonális tornádó, nem-mezociklonális tornádó.
2014-ben a tornádó előrejelzéseknél kísérleti jelleggel 4 különböző kategóriát vezettünk be (0-tól 3-ig). A 0-ás jelenti a "nem várható" kategóriát, a többi szám pedig a kis/közepes/nagy valószínűségű kategóriát növekvő sorrendben.
1. Egyszerû összesítések
Az események megfigyelésének és előrejelzésének előfordulási gyakoriságai (ami azt jelenti, hogy a 183 napos időszak mekkora részében voltak megfigyelve ill. előrejelezve):
| Megfigyelt elõfordulás [%] | Elõrejelzés elõfordulás [%] | BIAS | |
| Villámárvíz | 10.38 | 19.67 | 1.89 |
| MKR | 20.22 | 14.21 | 0.70 |
| Bow echo | 3.83 | 2.19 | 0.57 |
| Szupercella | 19.67 | 16.39 | 0.83 |
| Heves jégesõ | 6.56 | 14.75 | 2.25 |
| Szignifikáns jégesõ | 0.00 | 0.00 | - |
| Heves szélvihar | 4.37 | 13.11 | 3.00 |
| Szignifikáns szélvihar | 0.00 | 0.00 | - |
| Mezociklonális tornádó | 0.00 | 10.38 | - |
| Nem-mezociklonális tornádó | 3.83 | 11.48 | 3.00 |
Ebből az összehasonlításból az látszik, hogy a leggyakoribb események az MKR, és a szupercella voltak. A villámárvíz is viszonylag gyakori jelenség. A heves szélvihar, heves jégeső viszont ritkának számítanak, a legritkább a bow echo és a nem-mezociklonális tornádó volt.
Ebben a konvektív félévben szignifikáns jégeső, szignifikáns szélvihar és mezociklonális tornádó elő sem fordult, legalábbis, ami tudomásunkra jutott volna. Ezért sajnos ezen események előrejelzésével kapcsolatban sok következtetést nem lehet levonni.
Ami az előrejelzések gyakoriságát illeti, az MKR, bow echo és szupercella tekintetében kevesebbszer jeleztük ezeket előre, mint ahogy ezek megtörténtek (BIAS<1). A heves eseményekre viszont 2-3-szor is többször adtunk ki előrejelzést, a megtörtént esetekhez képest (heves jégeső, szélvihar, tornádó). A villámárvíznél is 1-nél nagyobb ez az arány (1.89).
Ez a tény azzal magyarázható, hogy jobban figyelünk arra, hogy ne legyen elmulasztott heves esemény, ezért inkább túlbiztosítás történik ezekben a kategóriákban. Egy MKR vagy egy szupercella esetén viszont nem feltétlenül fordulnak elő heves események.
2. Kontingencia táblázatok
Ebben a fejezetben tüntetjük fel az egyes eseményekhez tartozó kontingencia táblázatokat.
Villámárvíz:
| Bekövetkezett | Nem bekövetkezett | |
| Elõrejelzett | 13 | 23 |
| Nem elõrejelzett | 6 | 141 |
MKR:
| Bekövetkezett | Nem bekövetkezett | |
| Elõrejelzett | 21 | 5 |
| Nem elõrejelzett | 16 | 141 |
Bow echo:
| Bekövetkezett | Nem bekövetkezett | |
| Elõrejelzett | 1 | 3 |
| Nem elõrejelzett | 6 | 173 |
Szupercella:
| Bekövetkezett | Nem bekövetkezett | |
| Elõrejelzett | 20 | 10 |
| Nem elõrejelzett | 16 | 137 |
Heves jégesõ:
| Bekövetkezett | Nem bekövetkezett | |
| Elõrejelzett | 6 | 21 |
| Nem elõrejelzett | 6 | 150 |
Szignifikáns jégesõ:
| Bekövetkezett | Nem bekövetkezett | |
| Elõrejelzett | 0 | 0 |
| Nem elõrejelzett | 0 | 183 |
Heves szélvihar:
| Bekövetkezett | Nem bekövetkezett | |
| Elõrejelzett | 4 | 20 |
| Nem elõrejelzett | 4 | 155 |
Szignifikáns szélvihar:
| Bekövetkezett | Nem bekövetkezett | |
| Elõrejelzett | 0 | 0 |
| Nem elõrejelzett | 0 | 183 |
Mezociklonális tornádó:
| Bekövetkezett | Nem bekövetkezett | |
| Elõrejelzett | 0 | 19 |
| Nem elõrejelzett | 0 | 164 |
Nem-mezociklonális tornádó:
| Bekövetkezett | Nem bekövetkezett | |
| Elõrejelzett | 3 | 18 |
| Nem elõrejelzett | 4 | 158 |
Megjegyzés: A tornádóknál a 0-ás kategória számított nem előrejelzettnek, míg az 1/2/3-as kategória előrejelzettnek.
3. Mérõszámok összesítése
Egyes, gyakran használt mérőszámok táblázatba összefoglalva:
| ACC | TPR | FPR | FAR | ETS | TSS | HSS | ORSS | MCC | |
| Villámárvíz | 0.84 | 0.68 | 0.14 | 0.64 | 0.24 | 0.54 | 0.39 | 0.86 | 0.42 |
| MKR | 0.89 | 0.57 | 0.03 | 0.19 | 0.43 | 0.53 | 0.60 | 0.95 | 0.61 |
| Bow echo | 0.95 | 0.14 | 0.02 | 0.75 | 0.09 | 0.13 | 0.16 | 0.81 | 0.17 |
| Szupercella | 0.86 | 0.56 | 0.07 | 0.33 | 0.35 | 0.49 | 0.52 | 0.89 | 0.52 |
| Heves jégesõ | 0.85 | 0.50 | 0.12 | 0.78 | 0.14 | 0.38 | 0.24 | 0.75 | 0.26 |
| Szignifikáns jégesõ | 1.00 | - | 0.00 | - | - | - | - | - | - |
| Heves szélvihar | 0.87 | 0.50 | 0.11 | 0.83 | 0.11 | 0.39 | 0.20 | 0.77 | 0.23 |
| Szignifikáns szélvihar | 1.00 | - | 0.00 | - | - | - | - | - | - |
| Mezociklonális tornádó | 0.90 | - | 0.10 | 1.00 | 0.00 | - | 0.00 | - | - |
| Nem-mezociklonális tornádó | 0.88 | 0.43 | 0.10 | 0.86 | 0.09 | 0.33 | 0.17 | 0.74 | 0.20 |
A pontosságot (ACC) megvizsgálva azt mondhatjuk, hogy 84-100%-ban eltaláltuk a helyes bekövetkezési kategóriát, az eseménytől függően. Viszont ebből sok következtetést önmagában nem lehet levonni, mivel a bekövetkezési arányok eléggé különbözőek.
Általában elmondható, hogy minél bátrabban jelzünk előre, annál több eseményt találunk el (TPR nő), viszont annál többször futunk bele hamis előrejelzésbe is (FPR is nő). Tehát ez a két mennyiség együtt vizsgálandó. Az FPR-t és a TPR-t egy ábrára feltéve és összehasonlítva az egyes eseményeket (megjegyzés: általában különböző előfordulási gyakoriságú eseményeket nem szokás ábrázolni együtt ilyen fajta diagramon, jelen esetben ennek az ábrának a célja valamiféle összehasonlítás):
1.ábra
A villámárvizet találtuk el a legtöbbször - itt a legmagasabb a TPR, de az FPR is (tehát relatíve sokszor jeleztük előre jól, illetve sokszor jeleztük előre tévesen is).
A heves jégeső és a heves szélvihar előrejelzés nagyon közel van egymáshoz, ami nem meglepő, hiszen a kettő rendszerint egyszerre kerül előrejelzésre.
A nem-mezociklonális tornádó előrejelzés esetén még az előzőeknél is kisebbek a TPR/FPR értékek.
A bow-echókat kiugróan alacsony TPR és FPR jellemzi, alacsony előfordulás mellett. (tehát kevés a helyesen és a helytelenül előrejelzett események száma is).
A FAR értékeket elemezve az MKR és a szupercella előrejelzés rendelkezik a legkisebb számokkal (19 és 33%), azaz ezeknek viszonylag "könnyű" az előrejelzése. A villámárvíz esetén ez már kicsit magasabb (64%), és a többi esemény esetén pedig 70-80% körüli, ami magasnak tekinthető. Tehát ezeknél nagyobb a túlbiztosítás, azaz inkább többször jelezzük előre ezeket az eseményeket.
A többi mérőszámnak kicsit bonyolultabb az értelmezése. Ezek mind egy számmal próbálják jellemezni az előrejelzések jóságát, eltérő módszerek alapján.
Az eredményeket összegezve, három mérőszám is (ETS, HSS, MCC) a következő sorrendet állapította meg: MKR, szupercella, villámárvíz, heves jégeső, heves szélvihar, nem-mezociklonális tornádó, bow echo. (A többi, meg nem történt eseményt nem veszem ide, mert azokra mindegyik mérőszám nullát vagy nem definiálható értéket adott.)
Ezt egy ábrán feltüntetve:
2.ábra
Ez a sorrend megegyezik azzal, mintha az események előfordulási arányát állítottuk volna sorrendbe. Ez nem annyira meglepő, hiszen ez a három mérőszám függ az előfordulási aránytól.
A TSS és ORSS képletére viszont ez nem igaz, más sorrendet is adtak.
A TSS szerint a legjobb a villámárvíz előrejelzés, és a heves szélvihar előrejelzés egy hajszálnyival jobb, mint a heves jégeső előrejelzés.
Az ORSS pedig előre hozza a bow-echo előrejelzést a 4. helyre, és ugyancsak megcseréli a heves szélvihar ill. heves jégeső előrejelzést.
4. Valószínűségi előrejelzések verifikációja
Mezociklonális tornádónál csak az élességi diagramot érdemes kirajzolni, mivel az események előfordulási aránya minden kategóriában nulla volt:
3.ábra
Erről annyit lehet mondani, hogy az egyre magasabb kategóriák egyre kevesebbszer lettek kiadva (15 illetve 4 az 1. és 2. kategóriában), ami életszerűnek mondható. 3-as kategória egyszer sem lett kiadva.
A nem-mezociklonális tornádó előrejelzés esetén az élességi diagram:
4.ábra
Az 1-es és 2-es kategóriába 14 és 7 darab előrejelzés fért bele, 3-as kategória előrejelzés itt sem lett kiadva.
A megbízhatósági diagram:
5.ábra
Ez azt mutatja, hogy a nullás kategóriában 2.47% az előfordulási arány, míg az 1-es és 2-es kategóriában egyaránt 14.29%. Ez azt jelenti, hogy a két kategória esetén megegyezik a bekövetkezett tornádók száma.
Felbontás
A konvektív félév során a nem-mezociklonális tornádók előfordulási aránya 3.83% volt, ami nagyobb, mint a 0-ás kategóriában, ezért azt mondhatjuk, hogy a 0-ás kategória hordoz némi információt az átlaghoz képest. Az 1-es és 2-es kategóriáról is elmondható ez, ezeknél 3.73-szor magasabb az előfordulási arány az átlagnál.
Megbízhatóság
Mivel az 1-es és a 2-es kategóriához nem rendeltünk valószínűséget egyelőre, ezért ez a fogalom nem értelmezhető, csak a 0-ás kategória esetében. Itt ugye az ideális előfordulási érték a 0% lenne.
A fentiek miatt a Brier-score sem írható fel, csak egyes tagjai (RES és UNC). Előbbi értéke 0.0014, utóbbi 0.0368.
Diszkrimináció
A ROC-görbét felrajzolva két pont adódik: a 0/1-es kategóriaelválasztó és az 1/2-es kategóriaelválasztó vonalából. (3-as előrejelzés nem lett kiadva, így 2/3-as kategóriaelválasztó nincsen). Ezekhez a pontokhoz 88.52% és 96.17%-os kumulatív eloszlási értékek tartoznak (ezek alatt található előrejelzések aránya).
A ROC görbe alatti terület: 0.6631, ez egy mérsékelten jó értéknek számít, amin lehetne javítani, pl. több előrejelzéssel (első pont jobbra-felfelé tolásával: TPR növelésével, ekkor valószínűleg az FPR is nőni fog).
5. Konklúzió
Bináris előrejelzés
Az eredmények alapján megállapítható, hogy a bow-echo előrejelzésen lehetne legegyszerűbben javítani, akár úgy is, hogy kicsit jobban odafigyelünk rá, többször jelezzük azt előre - hiszen majdnem duplája fordult elő, mint ahányszor előrejeleztük. Hasonló igaz az MKR-re és szupercellára is, bár mérsékeltebben. Ezeknél könnyebb dolgunk van a magasabb előfordulás miatt.
Észlelhető egy olyan tendencia is, hogy amikor a helyzetben benne van a szupercella, és az heves eseményeket is produkálhat, akkor sokkal nagyobb eséllyel jelezzük előre magát a szupercellát is, mint amikor nem várunk heves eseményt. A 30 darab szupercella előrejelzésből 26 esetben jeleztünk előre hozzá heves eseményt is.
Lehetséges célok a jövőre nézve:
- A találati arány (TPR) növelése - főleg az 50% alattiak esetén
- A téves riasztások (FAR ill. FPR) csökkentése - a 70-80%-os FAR értékek magasnak számítanak
- A miss és false alarm egymáshoz képesti relatív "fontosságának" megállapítása, egy adott eseménytípus esetén. Ez meghatározható például a hozzájuk rendelt "fiktív költségek" alapján.
Valószínűségi előrejelzés: tornádók
A kategóriákhoz érdemes valószínűségeket rendelni: a 0%, 10%, 20%, 30% elsőre jó értéknek tűnnek. (A körül-t a kategória nevekbe érdemes beletenni a 0% kivételével)
A javasolt értékek a Storm Prediction Center leírása alapján is reálisnak tűnnek: http://www.spc.noaa.gov/misc/SPC_probotlk_info.html
Ezt a fajta kategória előrejelzést érdemes lenne a szélvihara ill. jégesőre is kiterjeszteni.
Az elmúlt konvektív félévben az 1-es és a 2-es kategóriában megegyezett a nem-mezociklonális tornádó előfordulási aránya. Bár ez véletlen egybeesések miatt is lehet, ezen esetleg valamilyen - időjárási helyzet függő - besorolási feltételek meghatározásával lehetne javítani.
A miss-eket úgy általában lehetne csökkenteni az által, hogy többször figyeljük a helyzetet (pl. szeptember), és adott esetben kiadni 0-ástól eltérő kategória előrejelzést.
- A hozzászóláshoz belépés szükséges
