mandag 11. august 2014

HadCRUT3 temperaturene og Solsyklusmodellen

Som kommentar til innlegget Solsyklusmodell feiler i prediksjon om kaldere klima på Dagsavisen Nye Meniger (DNM) skrev Solheim, Stordahl og Humlum (SSH) i #10 bl.a.

'Vi vil påpeke følgende:

- ved å sammenligne data i HadCRUT3 nedlastet nylig med data nedlastet i februar 2008 finner vi etterfølgende administrative endringer opp til 0.2°C for månedsmiddelverdier. (www.climate4you.com). Det er derfor ikke sikkert at Jacobsen har analysert de samme data.'

Dette utsagnet fra SSH er både irrelevant og feil.

SSH og jeg brukte HadCRUT3 temperaturene for den nordlige halvkulen i våre analyser med Solsyklusmodellen. Det interessante er derfor endringene som er gjort i den serien, ikke endringer som er gjort i den globale serien.

I sin opprinnelige artikkel predikterte SSH temperaturen i solsyklus 24 basert på temperaturene t.o.m. solsyklus 23. Solsyklus 23 endte helt i slutten av 2008. De må derfor ha brukt temperaturserier lastet ned mye senere enn februar 2008. Artikkelen ble levert i juni 2011 og revidert i februar 2012. SSH skriver ikke når temperaturserien de benyttet i sine analyser ble lastet ned, men det er rimelig å anta at det ble gjort tidlig i 2011. Det interessante er derfor hvor mye HadCRUT3 temperaturene for den nordlige halvkulen er endret i nedlastinger gjort nå sammenlignet med nedlastinger som ble gjort i begynnelsen av 2011. Figur 1 viser at det praktisk talt ikke er gjort endringer i eldre temperaturer mellom disse nedlastingene. For temperaturene mellom 1850 og utgangen av 2008 er bare 10 månedstemperaturer justert, og disse justeringene er opp eller ned bare 0,001°C. Justeringene er opp til 0,03°C for de siste månedene i den gamle nedlastingen, men det er temperaturer i solsyklus 24 og de betyr ingenting for solsyklusmodellens prediksjon av temperaturen i solsyklus 24.

Så ja, SSH og jeg brukte praktisk talt de samme HadCRUT3 temperaturene for den nordlige halvkulen når vi ved hjelp av solsyklusmodellen predikterte temperaturen for den neste solsyklusen. Under arbeidet med solsyklusmodellen i 2012, som er oppsummert i dette innlegget, sammenlignet jeg hele tiden mine resultater med resultatene i SSHs artikler fra årsskiftet 2011/2012. Jeg fikk omtrent de samme resultatene som de gjorde, og jeg har derfor hele tiden vært rimelig sikker på at vi brukte de samme data og at vi programmerte modellen likt. Jeg oppsummerte sammenligningene mellom mine og SSHs resultater i et eget innlegg i desember 2012.

Met Office har i ettertid gjort større endringer i gamle HadCRUT temperaturer, akkurat som de andre leverandørene av temperaturserier har gjort. Men det er ikke 'administrative' endringer, som SSH skriver. Endringene gjøres fordi vitenskapsmennene oppdager og retter feil, og fordi prosedyrer og algoritmer forbedres. Met Office skriver litt om det her. Det ser ut som at det omkring årsskiftet 2009/2010 ble gjort større endringer i gamle HadCRUT temperaturer pga feil i landtemperaturene i Australia, New Zealand og USA i de eldre temperaturseriene. Figur 2 viser endringene som er gjort i gamle HadCRUT3 temperaturer mellom nedlasting gjort i juli 2014 og i februar 2008. Førstnevnte nedlasting inneholder temperaturer t.o.m. mai 2014 og sistnevnte temperaturer t.o.m. desember 2007. De største månedlige endringene er mindre enn 0,05°C, dvs. mye mindre enn SSHs påstand om opp mot 0,2°C. Middelverdi og standardavvik av endringene er henholdsvis 0.001°C og 0.006°C. Figuren viser at det er spesielt temperaturer omkring 1870 som nå er justert opp. Dvs. at justeringene bidrar til en reduksjon, helt ubetydelig riktignok, av trenden i temperaturstigningen mellom førindustriell tid og nå.

fredag 8. august 2014

Solsyklusmodellen, en oppdatering juli 2014

Jeg har tidligere skrevet flere innlegg om solsyklusmodellen, med dette fra 2012 som det mest omfattende. I juli 2014 skrev jeg innlegget Solsyklusmodell feiler i prediksjon om kaldere klima på Dagsavisen Nye Meniger (DNM). Innlegget som du leser nå på hpklima, er en kommentar til Jan-Erik Solheims forsvar av modellen på DNM. Kommentaren er publisert på DNM, men uten figurene som det ikke er mulig å få med i kommentarene der.

Solheim, Stordahl og Humlum (SSH) forsvarer solsyklusmodellen i et pdf notat på Dropbox, se kommentar #10. Her skriver de at modellen feiler for den nordlige halvkulen. Jeg støtter Christian Moes kommentar #14 om dette. Videre skriver de at modellen stemmer best i et begrenset område, og i Figur 1 i notatet sitt sirkler de inn dette begrenset området med de fem værstasjonene Longyearbyen, Tromsø, Bodø, Akureyri (Island) og Torshavn (Færøyene). Jeg har nå undersøkt temperaturseriene for disse fem værstasjonene nærmere. Konklusjonen min er at modellen ikke stemmer for disse heller.

Tabell 3 i dette innlegget viser hvordan prediksjonene for de foregående solsyklusene stemte for 13 lokale temperaturserier som SSH analyserte i sin opprinnelige artikkel fra februar 2012. For de lokale seriene, også for de fem innenfor det begrensete området, feilet modellen grovt i prediksjonene for solsyklus 23 (den varte fra 1996 til 2008). Målt middeltemperatur i solsyklus 23 for både Longyearbyen, Tromsø og Bodø var alle høyere enn øvre grense i 95% konfidensintervallet rundt sine prediksjoner. For Akureyri og Torshavn var også de målte middeltemperaturene mye høyere enn sine prediksjoner. Det er ikke nødvendig å vente til solsyklus 24 er ferdig for å si at modellen feiler også i det begrensete området.

Om temperaturen i den først og i den siste halvdelen av en solsyklus skriver SSH:

' - at det har vært varmere hittil i solflekkperiode 24 enn vår prognose kan forklares ved at temperaturen ofte går opp i begynnelsen av en solflekkperiode, og at det er tiden etter solflekkmaksimum som er avkjølingsfasen. Jo lengre denne blir, jo mer faller temperaturen. Dette er hovedgrunnen til at vi mener at vi må vente til solflekkperioden er over før vi kan vurdere hvor god vår prognose har vært.'

Om Longyearbyen spesifikt skriver de:

'Vi er enige i at temperaturen så langt i solflekkperiode 24 er langt høyere enn vår prognose. Men også her mener vi det er for tidlig å felle noen dom. Vi ser i mange tidligere solflekkperioder en kraftig avkjøling i siste del av perioden.'

Vi er nå ca halvveis i inneværende solsyklus 24. Påstanden om at temperaturen i den siste halvdelen av en solsyklus skal være lavere enn i den første halvdelen er derfor interessant. Jeg utvidet programmene mine for å sjekke dette, og jeg så da at påstanden er feil både for globale og lokale temperaturserier. For alle de fem lokale temperaturseriene innenfor SSHs begrensete område har temperaturen i den siste halvdelen i snitt vært høyere enn i den første.

Middeltemperaturen så langt i solsyklus 24 ligger for alle de fem lokale stasjonene langt over den øvre grensen i 95% konfidensintervallet rundt solsyklusmodellens prediksjoner. Som forklart i forrige avsnitt tilsier ikke historikken til temperaturseriene at dette vil snu. Tvertimot, denne historikken gir oss ytterligere grunn til å frykte at oppvarmingen vil fortsette også i den siste halvdelen av inneværende solsyklus.

Jeg har dokumentert dette med figurer og numeriske resultater i Figur 2 til 6. Temperaturen for de fem lokale værstasjonene er hentet fra rimfrost.no og er ajour t.o.m. juli 2014. Jeg har beregnet og brukt anomaliene relativt normalperioden januar 1961 til desember 1990, som også Meteorologisk institutt bruker.

HadCRUT4 temperaturene var ikke oppdatert t.o.m. juli 2014 da innlegget ble skrevet. Figur 7 med HadCRUT4 temperaturene for den nordlige halvkulen ble derfor lagt inn noe senere. HadCRUT4 temperaturene er også anomalier relativt normalperioden januar 1961 til desember 1990. De viser det samme som de lokale temperaturene, både mht. at temperaturen så langt i solsyklus 24 er mye høyere enn den øvre grensen i 95% konfidensintervallet rundt solsyklusmodellens prediksjoner og mht. at temperaturen i de siste halvdelene av solsyklusene i snitt har vært høyere enn i de første halvdelene.

Høyre plot i figurene viser temperaturen som en funksjon av lengden på den forrige solsyklusen. Denne lengden ser ikke ut til å påvirke om temperaturen i den første eller i den siste halvdelen er varmest.

søndag 22. juni 2014

Piecewise linear regression applied to temperature trends

This is the fifth blog post in a series of five that analyse trends in the global surface temperatures. The posts put emphasis on the mathematics and the statistics used in the analyses. The posts are numbered 1 to 5. They should be read consecutively.

Post 1    Linear regression analysis
Post 2    Hypothesis testing of temperature trends
Post 3    Confidence intervals around temperature trend lines
Post 4    Statistical power of temperature trends
Post 5    Piecewise linear regression applied to temperature trends

The posts are gathered in this pdf document.

Start of post 5 Piecewise linear regression applied to temperature trends

The temperature trend line from December 2000 to December 2013 is flat, while the one from January 1984 to November 2000 increases with 0.22°C/decade, as shown with the two blue lines in Figure 5.1.

Figure 5.1: Monthly temperatures in the last 30 years with trend lines

This leads many contrarians to argue that the increasing temperature trend before the turn of the millennium is followed by a flat trend, and they often illustrate their claim with the red schematic line in Figure 5.1. The red line is, however, not based on calculations, and it does not match the monthly temperatures that it claims to represent. The two blue lines are calculated with linear regression analysis, and they represent the temperatures in their segments when the segments are evaluated isolated from each other. But the trend lines are not continuous at the breakpoint between November and December 2000, and they therefore do not represent the trend for the whole time period in Figure 5.1.

We may calculate a piecewise linear trend line that is continuous at the breakpoint. This new trend line is a “best fit” to the temperatures in the whole time period, just as the two blue lines are the best fits for their time periods. The new trend line has an increasing trend also after the turn of the millennium, as the green line in Figure 5.1 shows. It is calculated with piecewise linear regression analysis.

fredag 20. juni 2014

Statistical power of temperature trends

This is the fourth blog post in a series of five that analyse trends in the global surface temperatures. The posts put emphasis on the mathematics and the statistics used in the analyses. The posts are numbered 1 to 5. They should be read consecutively.

Post 1    Linear regression analysis
Post 2    Hypothesis testing of temperature trends
Post 3    Confidence intervals around temperature trend lines
Post 4    Statistical power of temperature trends
Post 5    Piecewise linear regression applied to temperature trends

The posts are gathered in this pdf document.

Start of post 4 Statistical power of temperature trends

β (beta) is the probability of not rejecting the null hypothesis H0 when it is false. This is a type II error. Statistical power is the probability of rejecting a false null hypothesis. It is 1 minus β.

We assume that the null hypothesis is false and that the alternative hypothesis H1 is true, i.e. that there is a true long term temperature trend different from zero. But we do not know the true trend, only that it is different from zero. The t-value is the slope of the trend divided with its 1-σ uncertainty. We need the t-value of a trend under the alternative hypothesis in order to calculate β and statistical power. In lack of better information we may assume that the trend calculated based on a set of temperature measurements (later called a dataset) is the true trend, and therefore use the t-value of that trend as the t-value under the alternative hypothesis. With this approach we calculate the post-hoc (retrospective) statistical power. Another approach is to estimate the trend and its noise based on available knowledge independent of a specific dataset being analyzed, and thereafter use this for the trend under the alternative hypothesis. With this approach we calculate the a-priori (prospective) statistical power.

onsdag 18. juni 2014

Confidence intervals around temperature trend lines

This is the third blog post in a series of five that analyse trends in the global surface temperatures. The posts put emphasis on the mathematics and the statistics used in the analyses. The posts are numbered 1 to 5. They should be read consecutively.

Post 1    Linear regression analysis
Post 2    Hypothesis testing of temperature trends
Post 3    Confidence intervals around temperature trend lines
Post 4    Statistical power of temperature trends
Post 5    Piecewise linear regression applied to temperature trends

The posts are gathered in this pdf document.

Start of post 3, Confidence intervals around temperature trend lines:

Figure 3.1 shows the monthly temperatures in the last 30 years as blue dots. The solid red line shows the temperature trend in these 30 years.
Figure 3.1: Monthly temperatures from January 1984 to December 2013 with trend line
The red line is a “best fit” to the blue dots. The slope and the intersection with the vertical Y axis are estimated with linear regression analysis. The slope is defined with its value and its uncertainty, both with units °C/year. The uncertainty is decided by both the length of the interval which the trend is calculated over and by the noise on the temperatures. Long intervals give low uncertainty, and much noise gives high uncertainty. The uncertainty is usually specified with its 1-sigma value σ. See more details in post 1.

The 95% confidence interval around an estimated value has a 95% likelihood of covering the true value. The upper endpoint of the confidence interval has a 97.5% likelihood of exceeding the true value, and the lower endpoint has a 97.5% likelihood of being less than it.

The red regression line in Figure 3.1 may be regarded as a model. It may be used in two different ways. One way is to estimate the most likely temperature at a given time. The red dotted lines show the 95% confidence interval around this estimation. Another way is to predict a measurement at a given time. The blue dotted lines show the 95% confidence interval around this prediction. It is wider than the confidence interval for the estimate because it also includes the uncertainty of the measurement that is being predicted.

tirsdag 17. juni 2014

Hypothesis testing of temperature trends

This is the second blog post in a series of five that analyse trends in the global surface temperatures. The posts put emphasis on the mathematics and the statistics used in the analyses. The posts are numbered 1 to 5. They should be read consecutively.

Post 1    Linear regression analysis
Post 2    Hypothesis testing of temperature trends
Post 3    Confidence intervals of temperature trends
Post 4    Statistical power of temperature trends
Post 5    Piecewise linear regression applied to temperature trends

The posts are gathered in this pdf document.

Start of post 2, Hypothesis testing of temperature trends:

The decision of whether a calculated temperature trend is statistically significant or not is based on hypothesis testing. The null hypothesis H0 is that the underlying long term trend is zero and that a calculated trend different from zero is caused by random noise on the measurements. The alternative hypothesis H1 is that the underlying long term trend is different from zero.

The t-value of the trend is its estimated slope [°C/year] divided with its 1-σ uncertainty [°C/year]. It is a dimensionless number. The t-value follows a Student's t-distribution when the noise on the temperature measurements is random. The probability density function (pdf) of the t-distribution is symmetrical and bell-shaped, as shown in Figure 2.1. The degrees of freedom of the t-distribution is the number of independent measurements minus two.

The absolute value of the t-value is a measure of the probability that the slope is different from zero. A t-value less than 1 tells that the uncertainty of the calculated slope is greater than the slope itself; then the true slope may very well be zero. If, however, the t-value is much greater than 1, the true slope is probably different from zero.

When we calculate a temperature trend different from zero, we do not know if it is caused by random noise on the measurements or by a long term trend different from zero. The calculated trend is statistically significant at the α significance level if the probability to calculate such an extreme trend is less than α, given that the null hypothesis is true. The term 'Such an extreme trend' means a trend that is as big as or even bigger than the calculated trend, positive or negative. This is illustrated in Figure 2.1, which shows the pdf of the t-value under the null hypothesis.

Figure 2.1: The Student's t-distribution with illustration of the significance level α equal to 0.05.The plot assumes that the null hypothesis H0 is true.

mandag 16. juni 2014

Linear regression analysis

This is the first blog post in a series of five that analyse trends in the global surface temperatures. The posts put emphasis on the mathematics and the statistics used in the analyses. The posts are numbered 1 to 5. They should be read consecutively.

Post 1    Linear regression analysis
Post 2    Hypothesis testing of temperature trends
Post 3    Confidence intervals of temperature trends
Post 4    Statistical power of temperature trends
Post 5    Piecewise linear regression applied to temperature trends

The posts are gathered in this pdf document.

Start of post 1 Linear regression analysis

The colored lines in Figure 1.1 show the monthly temperature anomalies from January 1984 to December 2013 for five different temperature series. A temperature anomaly is the difference between the real temperature and the average temperature. A base period is a time interval in which the average temperature is calculated. For brevity we often write temperature instead of temperature anomaly. The five series contain the global land and ocean surface temperature anomalies.

Figure 1.1: Temperatures in the last 30 years for five different temperature series. The trend line is calculated based on the average of the temperature series.