การกระจายของข้อมูล

ทำไมต้องดู “รูปร่าง” ของข้อมูล ไม่ใช่แค่ตัวเลขสรุป

บทที่แล้วเรียนเรื่อง mean/median/std/IQR ไปแล้ว — ตัวเลขพวกนี้สรุปข้อมูลเป็น “จุดเดียว” ได้ก็จริง แต่ข้อมูลชุดเดียวกันอาจมี mean/std เท่ากันทุกประการ ทั้งที่หน้าตาการกระจาย (distribution) ต่างกันคนละเรื่อง บทนี้จะเรียนวิธีอ่าน “รูปร่าง” ของข้อมูลเพิ่มอีกชั้นหนึ่ง ผ่านสองแนวคิด: skewness (ความเบ้) และ z-score

Skewness: ข้อมูลสมมาตรหรือเบ้

ข้อมูลที่ “สมมาตร” (symmetric) จะมีหางซ้าย-ขวายาวพอๆ กัน ส่วนข้อมูลที่ “เบ้” (skewed) จะมีหางข้างใดข้างหนึ่งยาวกว่า

import pandas as pd

products = pd.read_csv("data/products.csv")
products['price'].skew()

.skew() คืนตัวเลขเดียวที่บอกทั้งทิศทางและความรุนแรงของความเบ้:

ค่า skew	ความหมาย
ใกล้ 0	สมมาตรพอประมาณ
มากกว่า 0 (เบ้ขวา / right-skewed)	หางยาวไปทางขวา มีค่าสูงผิดปกติอยู่บ้าง → มักทำให้ mean > median
น้อยกว่า 0 (เบ้ซ้าย / left-skewed)	หางยาวไปทางซ้าย มีค่าต่ำผิดปกติอยู่บ้าง → มักทำให้ mean < median

ข้อมูลยอดขาย/รายได้แทบทุกธุรกิจมักเบ้ขวา เพราะลูกค้าส่วนใหญ่ซื้อของราคาปกติ แต่มีบางออเดอร์ที่ใหญ่ผิดปกติคอยดึงหางออกไปทางขวา

z-score: ค่านี้ห่างจากค่าเฉลี่ยกี่ std

z-score แปลงค่าดิบให้เป็น “จำนวน standard deviation ที่ห่างจากค่าเฉลี่ย”:

z = (x - mean) / std

• z = 0 แปลว่าค่านั้นเท่ากับค่าเฉลี่ยพอดี
• z = 2 แปลว่าค่านั้นสูงกว่าค่าเฉลี่ย 2 เท่าของ std
• z = -1.5 แปลว่าค่านั้นต่ำกว่าค่าเฉลี่ย 1.5 เท่าของ std

กฎที่ใช้กันบ่อยคือ |z| > 3 = ผิดปกติ (outlier) เพราะถ้าข้อมูลแจกแจงแบบปกติ (normal distribution) จริงๆ โอกาสที่จะเจอค่าที่ห่างเกิน 3 std ทั้งสองด้านมีแค่ประมาณ 0.27% เท่านั้น (scipy.stats.norm.sf(3)*2*100) — ถือว่าหายากมาก

กับดัก: กฎ \|z\| > 3 ตั้งอยู่บนสมมติฐานว่าข้อมูลใกล้เคียง normal

ปัญหาคือ ข้อมูลยอดขาย/รายได้จริงมักไม่ใกล้เคียง normal distribution เลย — มันเบ้ขวาอย่างที่เห็นด้านบน ลองดูยอดรายได้ต่อออเดอร์ (เฉพาะออเดอร์ที่ completed) ของร้านนี้:

import pandas as pd

orders = pd.read_csv("data/orders.csv")
order_items = pd.read_csv("data/order_items.csv")
completed = orders[orders['status'] == 'completed']
merged = order_items.merge(completed, on='order_id')
merged['line'] = merged['quantity'] * merged['unit_price']
order_rev = merged.groupby('order_id')['line'].sum()

order_rev.skew()

ข้อมูลนี้เบ้ขวารุนแรง (skew สูงกว่า 3) พอเอากฎ |z| > 3 มาใช้จริง กลับเจอสัดส่วนออเดอร์ที่ “ผิดปกติ” มากกว่าที่ทฤษฎีทำนายไว้หลายเท่า เพราะข้อมูลจริงมีหางยาวกว่าการแจกแจงปกติมาก — ไม่ได้แปลว่าใช้ z-score ไม่ได้เลย แต่ต้องตีความอย่างระมัดระวัง และควรเทียบกับวิธีอื่น (เช่น IQR จากบทที่แล้ว) ประกอบกันเสมอ ไม่เชื่อกฎเดียวแบบไม่คิด