Vid genomförande av ett test av betydelse eller hypotestest, det finns två siffror som är lätta att förväxla. Dessa siffror kan lätt förväxlas eftersom de båda är siffror mellan noll och ett och båda är sannolikheter. Ett nummer kallas teststatistikens p-värde. Det andra antalet intressen är nivån på betydelse eller alfa. Vi kommer att undersöka dessa två sannolikheter och bestämma skillnaden mellan dem.
Alfavärden
Siffran alfa är tröskelvärdet som vi mäter p-värden mot. Det berättar hur extrema observerade resultat måste vara för att avvisa nollhypotesen om ett signifikantest.
Värdet på alfa är associerat med konfidensnivån i vårt test. Följande listar vissa nivåer av förtroende med deras relaterade värden för alfa:
- För resultat med 90 procents förtroende är alfa-värdet 1 - 0,90 = 0,10.
- För resultat med 95 procent nivå av förtroende, är värdet på alfa 1 - 0,95 = 0,05.
- För resultat med en konfidensnivå på 99 procent är alfa-värdet 1 - 0,99 = 0,01.
- Och i allmänhet, för resultat med en C-procentnivå av förtroende, är värdet på alfa 1 - C / 100.
Även om i teori och praktik många siffror kan användas för alfa, är det vanligaste 0,05. Anledningen till detta är både för att konsensus visar att denna nivå är lämplig i många fall, och historiskt sett har den accepterats som standarden. Det finns dock många situationer då ett mindre alfavärde ska användas. Det finns inte ett enda värde på alfa som alltid bestämmer statistisk betydelse.
Alfavärdet ger oss sannolikheten för a typ I-fel. Typ I-fel uppstår när vi avvisar en nollhypotes som faktiskt är sant. Således i det långa loppet för ett test med en nivå av betydelse av 0,05 = 1/20, kommer en sann nollhypotes att avvisas en av var 20 gånger.
P-värden
Det andra numret som ingår i ett test av betydelse är ett p-värde. Ett p-värde är också en sannolikhet, men det kommer från en annan källa än alfa. Varje teststatistik har motsvarande sannolikhet eller p-värde. Detta värde är sannolikheten för att den observerade statistiken inträffade enbart av en slump, förutsatt att nollhypotesen är sann.
Eftersom det finns ett antal olika teststatistik finns det ett antal olika sätt att hitta ett p-värde. I vissa fall måste vi känna till sannolikhetsfördelning av populationen.
Teststatistikens p-värde är ett sätt att säga hur extrem denna statistik är för våra provdata. Ju mindre p-värde, desto mer osannolikt är det observerade provet.
Skillnaden mellan P-värde och Alpha
För att avgöra om ett observerat resultat är statistiskt signifikant jämför vi värdena på alfa och p-värdet. Det finns två möjligheter som dyker upp:
- P-värdet är mindre än eller lika med alfa. I det här fallet avvisar vi nollhypotesen. När detta händer säger vi att resultatet är statistiskt signifikant. Med andra ord är vi ganska säkra på att det finns något förutom chansen ensam som gav oss ett observerat prov.
- P-värdet är större än alfa. I det här fallet misslyckas vi med att avvisa nollhypotesen. När detta händer säger vi att resultatet inte är statistiskt signifikant. Med andra ord är vi ganska säkra på att våra observerade data kan förklaras enbart av en slump.
Betydelsen av ovanstående är att ju mindre värdet på alfa är, desto svårare är det att hävda att ett resultat är statistiskt signifikant. Å andra sidan, ju större värdet på alfa är, desto lättare är det att påstå att ett resultat är statistiskt signifikant. I kombination med detta är emellertid den högre sannolikheten för att det vi observerat kan tillskrivas tillfällen.