Statisztika Mindenkinek!

Több busz megy el az ellenkező irányba? A véletlent meghazudtolva tömbökben jönnek a jó vagy rossz lapok? Csőstül jön a baj? Mindenki egyszerre csinál neked programot, míg máskor hónapokig senki nem jelentkezik?

Sokszor érezzük, hogy valami nem stimmel a véletlennel. Azt szeretnénk most illusztrálni, hogy a véletlen viselkedése sokszor más, mint amit a naiv intuíciónk sugall. Sok hétköznapi, legendaszerű jelenség is magyarázható a véletlen érdekes tulajdonságaival is.

Lássunk először egy izgalmas példát, amivel akár fogadásokat is nyerhetünk, egy cetli papír és egy szabályos pénzérme szükséges csak.

Kérjünk meg valakit, hogy dobjon fel egy pénzérmét mondjuk 40-szer, és írja le egy papírra a fej-írás sorozatot, amit kapott. De előtte írjon egy ilyen sorozatot fejből, érme nélkül egy másik szelet papírra. A fogadás tárgya: meg fogjuk tudni mondani, hogy melyik a valódi sorozat, és melyiket írta ő. (Érdemes egyszerre pl 5 emberrel fogadni egy-egy sörben, mert így látványosabb lesz, ha mindenkivel szemben nyerünk). A titok pedig a következő, az egymás után következő csupa fej, vagy csupa írás sorozatokat kell figyelni. Az átlag ember nem "mer" túl hosszú sorozatokat írni, 2 maximum 3 fej után írást rak, mert nem tartja valószínűnek, hogy pl 7-szer fej jöjjön. A statisztika mást mond, pont az a valószínűtlen hogy ne legyenek hosszú sorozatok. Egy 50 hosszú véletlen fej-írás sorban bizony várhatóan 7-8 hosszú lesz a leghosszabb egyforma jelből álló sorozat!

A fogadáshoz elég tehát megnézni, melyik papíron vannak a hosszú sorozatok, az lesz az igazi véletlen, a másik a fejből írt, álvéletlen sorozat.

Mi ebből a tanulság? Hogy a véletlen "egyenetlen", rendetlen. Legalábbis rendetlenebb mint gondolnánk. Valahogy azt érezzük, hogy a véletlen, "pártatlan" pénzérme dobásban fejek és  írások egyenletesen váltogatják egymást, míg a valóságban bizony sok dobás alatt relatíve hosszú blokkok alakulhatnak ki. A poén az egészben az, hogy ezeket a hosszú blokkokat nem tartjuk véletlennek, valamilyen mögöttes dolgot sejtünk.

És itt térek rá a póker-paradoxonra. A látszólag véletlenül osztott lapok között egy játékosnak meglepően gyakran van jó szériája, amikor sok játékon keresztül jó lapokat kap, és persze "fordul a szerencse", és jön a rossz széria. Sokak szerint ez azt bizonyítja, hogy "nem működik" a statisztika, hiszen egyenletesen jó és rossz lapok kellene hogy jöjjenek egymást váltva. Épp ellenkezőleg! Figyeljük meg a fej-írás sorozatot! Tegyük fel, hogy a lapunk 50% eséllyel jobb mint az átlag lap, azaz nyerő, 50%-al rosszabb. Akkor pont úgy fognak a jó és rossz leosztások jönni, mint a fejek és írások, egy 50 leosztásos estén 7-8 hosszú szériák is bejönnek. Ha feltételezzük, hogy 4-5 jó lapos szériák között egy rossz lapot "elfelejtünk", vagy kivételnek tekintünk, akkor bizony az lesz az érzésünk, hogy hosszú jó és rossz szériák váltják egymást.

Nem szereted a kártyát? Azt viszont biztos tapasztaltad hogy a nem várt, ritka "véletlen" események sosem egyenletesen elosztva érkeznek, hanem csomósodva, egymás nyakában, azaz "csőstül jön a baj".

Erről a következő bejegyzésben! 

Régi kérdés, hogy van-e bármi értelme a horoszkóp jegyeknek. Nos, lehet hogy itt a válasz a kérdésre. Brit tudósok szerint , egészen pontosan egy kanadai megye rendőr tisztviselő szerint az őrizetesek között több van a kos jegyűekből, azaz nagyobb valószínűséggel lesznek erőszakos elkövetők a március 21-április 20 között születettek. Az eredmény meglepő módon egybeesik az egyik legelcsépeltebb horoszkóp "összefüggéssel", hogy a kosok agresszívabbak, határozottabbak.

A cikk állítása szerint 1986 őrizetes születési adatai alapján csoportokba osztva az derült ki, hogy a várt egyenletes eloszlás helyett, a leggyakoribb csillagjegy majdnem 1,5-szer haladta meg a legritkábbat. 

Felmerül a kérdés, mit jelent ez statisztikai szempontból. A másfélszeres szorzó igen nagynak tűnik, főleg hogy "egyenletes" eloszlás esetén kb azonos számot várnánk minden csillagjegyre. Tudni kell azonban, hogy egy egyenletes eloszlásból sorsolva is meglepőn nagy szórás mutatkozik az eredményekben. Egy átlag embernek 1,5-szere szorzó nagyon nagynak tűnik, de felmerül a gyanú, hogy akár a véletlen is produkálhat ekkora eltérést. Utánajártunk!

Először is, csak a tények kedvéért, érdemes hangsúlyozni, hogy egyenletességi vizsgálatokra általában egy másik módszert az ún. Khi-négyzet tesztet alkalmazzák. Itt az egyes csoportokra kiszámolják a várt (esetünkben 1/12), és a megvalósult gyakoriságot, majd az eltérésekből képeznek egy összhibát, és ennek nagyságából vonnak le következtetéseket. Derék rendőrünk nyilván nem járatos ennyire a statisztikában.

Esetünkben tehát ezt a sztenderd tesztet a cikk végén elvégezzük, de először lássuk mekkora a 1,5-szeres eltérés valószínűsége.

A statisztikai próbáról nagyon röviden: van egy nulladik kiinduló feltételezésünk (esetünkben hogy minden csillagjegyből 1/12 valószínűséggel kerül be egy-egy újabb őrizetes), ennek ismeretében valamilyen mennyiségről, például a legnagyobb és legkisebb csoport arányáról kiszámolhatjuk, hogy milyen valószínűséggel vesz fel extrém értékeket (pl 1,5), és ha ez a valószínűség nagyon kicsi, akkor elvethetjük a kiinduló feltételezésünket. Bővebben itt.

Végeztem egy szimulációt, ahol mesterségesen sorsoltam 1986 db csillagjegyet (1-12 közötti számot), majd kiszámoltam a legnagyobb és legkisebb csillagjegy csoport arányát. Ezt 500000-szer végezve a következőt kapjuk:

Először is, naiv intuíciónkkal ellentétben az arány mindig  nagyobb mint 1, a tipikus érték például 1,3, ez jön ki leggyakrabban ekkora minta esetén. Egyszóval máris kicsit bizalmatlankodhatunk, vajon az 1,5 tényleg olyan sok-e.

Lássuk, mi lett a kérdéses valószínűség (p value), ez kb 1,3%. A statisztikában tipikus limitnek 5%-ot használnak, azaz annál kisebb p érték esetén szignifikánsnak nevezik az eredmény, azaz eltérés a várt "normál" értéktől már jelentős, nem írható kizárólag a véletlen számlájára. Esetünkben csupán 1,3!% a valószínűsége, hogy csupán a véletlennek köszönhetően valaki ilyen eredményt kapjon. Magyarul: ha feltesszük, hogy nincs effektus (nincs hatása a horoszkóp jegynek a bűnözési hajlamra), akkor 1000 ilyen kísérletből mindössze 13, vagy 100-ból kevesebb mint 2 esetben kapnánk ilyen nagy értéket! 

Elvégezhetjük magát a Khi-négyzet próbát is, ami azt a hipotézisünket teszteli (azaz kóstolja, támadja), hogy minden csillagjegyből 1/12 valószínűséggel kerülnek ki az elítéltek.

Az eredmény: 0,5%, ami nagyon-nagyon szignifikáns. Itt már 1:200-hoz az esélye, hogy valaki ilyen kiugró eredményt kapjon! (Ne felejtsük, hogy statisztikai teszteknél már 5%-ot szignifikáns szintnek szokás tekinteni, ez egy jóval erősebb eredmény.)

Ítéletünk tehát az lehetne: a rendőrnek (a rendelkezésre álló infók szerint, és ha igaz amit állítanak) igaza volt, ez már egy szignifikáns, azaz statisztikailag jelentős eredmény.

Viszont nem vettük figyelembe azt, hogy eleve nem ugyanannyi Kos születik, mint pl Nyilas. Ezt a tényezőt hamarosan górcső alá kell venni, mert teljesen megváltoztathatja az eredményünket!

Még néhány észrevétel: először is még mindig nem zárható ki a véletlen szerepe. 0,5% nagyon kicsi, de - természetesen - nem elképzelhetetlenül kicsi. Ezt érdemes tudni: a statisztikai tesztek mindig csak azt mondják ki, hogy nagyon valószínű, hogy van effektus, sosem zárhatják ki a véletlen pozitív eredményt.  (Ennek a hibázásnak a valószínűségét elsőfajú hibának is nevezik: milyen valószínű. hogy nincs is effektus, de mégis azt  hisszük hogy van).

A másik megjegyzés a fiók-probléma. Tegyük fel, hogy a világon sok rendőr végez hasonló kísérleteket. A 1,5-szeres eltérés valószínűsége egyetlen kísérlet esetén ugyan csak 0,5%, 100 kísérlet esetén már 40% hogy az egyikben ilyen nagy érték jön ki. Mi van, ha többi 99 kísérlet fiókba került (mert ha nincs eredmény, nincs szenzáció, nincs miért elmondani bárkinek is hogy nem jött ki semmi). Akkor bizony megtévesztettük magunkat, megint csak egy véletlenül egyszer előforduló nagy eltérést hittünk valamiféle törvényszerűségnek. Ezt a hibát nehéz kizárni...

Mára ennyit. Lehet kérdezni, vagy cáfolni, ha valamit elszámoltam!

UI: én is Kos jegyű vagyok, lehet benne valami :) :)