สถิติเชิงบรรยาย

จาก pandas สู่สถิติ

จบสาย pandas แล้ว ต่อไปนี้จะเรียนสถิติที่ใช้จริงในงาน DA — ไม่ใช่ทฤษฎีเชิงลึก แต่เป็นเครื่องมือที่ใช้ตอบคำถาม “ข้อมูลชุดนี้หน้าตาเป็นยังไง” และ “ตัวเลขไหนผิดปกติบ้าง” บทแรกนี้เริ่มจากพื้นฐานที่สุด: การสรุปข้อมูลด้วยตัวเลข ตัวเดียว (descriptive statistics)

ค่ากลาง: mean, median, mode

“ค่ากลาง” ของข้อมูลมีหลายแบบ แต่ละแบบตอบคำถามต่างกัน:

ค่า	ความหมาย	pandas
mean (ค่าเฉลี่ย)	ผลรวมหารด้วยจำนวนข้อมูล	.mean()
median (มัธยฐาน)	ค่าที่อยู่ตรงกลางเมื่อเรียงข้อมูลแล้ว	.median()
mode (ฐานนิยม)	ค่าที่พบบ่อยที่สุด	.mode()

import pandas as pd

products = pd.read_csv("data/products.csv")
products['price'].mean()    # 2296.0
products['price'].median()  # 1014.0

สังเกตว่า mean (2296.0) กับ median (1014.0) ของราคาสินค้าต่างกันเกินเท่าตัว — นี่ไม่ใช่ความผิดพลาด แต่เป็นสัญญาณว่าข้อมูลเบ้ขวา (right-skewed): มีสินค้าราคาแพงมากอยู่ไม่กี่ชิ้นที่ดึงค่าเฉลี่ยขึ้นไปสูงกว่า ค่ากลางจริงๆ ของข้อมูลส่วนใหญ่

mean คำนวณจากผลรวมของทุกค่า จึงไวต่อค่าที่สูงหรือต่ำผิดปกติ (outlier) มาก ในขณะที่ median ดูแค่ ตำแหน่งกลางของข้อมูลที่เรียงแล้ว ไม่ว่าค่าที่สูงที่สุดจะสูงขึ้นไปอีกแค่ไหน median ก็ไม่ขยับ — median จึง “ทนทาน” (robust) ต่อ outlier กว่า mean

กติกาที่ใช้ได้จริง: ถ้าข้อมูลมีแนวโน้มเบ้ (เช่น รายได้, ราคาสินค้า, ยอดขาย ที่มักมีค่าสูงผิดปกติบางค่า) ควรรายงาน median คู่กับ mean เสมอ ไม่ควรใช้ mean ตัวเดียวแล้วสรุปว่านั่นคือ “ค่าทั่วไป”

การกระจายของข้อมูล: variance และ standard deviation

ค่ากลางบอกได้แค่ “ตรงกลางอยู่ที่ไหน” แต่ไม่บอกว่าข้อมูลกระจายกว้างแค่ไหนรอบๆ ค่ากลางนั้น variance (ความแปรปรวน) วัดค่านี้โดยเฉลี่ยของ (ค่าแต่ละตัว - mean)² และ standard deviation (ส่วนเบี่ยงเบน มาตรฐาน, std) คือรากที่สองของ variance — ใช้ std มากกว่า variance ในทางปฏิบัติ เพราะหน่วยของ std เหมือนกับ หน่วยของข้อมูลเดิม (variance มีหน่วยเป็นกำลังสอง ตีความยากกว่า)

products['price'].std()   # 3648.41

std ยิ่งมาก ยิ่งแปลว่าข้อมูลกระจายกว้าง (มีทั้งราคาถูกมากและแพงมากปนกัน) ส่วน std น้อย แปลว่าข้อมูลกระจุกตัว ใกล้ค่าเฉลี่ย

Quartiles และ IQR

Quartiles แบ่งข้อมูลที่เรียงแล้วออกเป็น 4 ส่วนเท่าๆ กัน:

• Q1 (เปอร์เซ็นไทล์ที่ 25): 25% ของข้อมูลอยู่ต่ำกว่าค่านี้
• Q2 คือ median นั่นเอง (เปอร์เซ็นไทล์ที่ 50)
• Q3 (เปอร์เซ็นไทล์ที่ 75): 75% ของข้อมูลอยู่ต่ำกว่าค่านี้

q1 = products['price'].quantile(0.25)   # 494.0
q3 = products['price'].quantile(0.75)   # 2381.5

IQR (interquartile range) คือช่วงระหว่าง Q3 กับ Q1 (Q3 - Q1) วัดการกระจายของข้อมูล 50% ตรงกลาง โดยไม่สนใจค่าสุดโต่งที่ปลายทั้งสองข้าง — ต่างจาก range (max - min) ที่ไวต่อ outlier มาก เพราะ range ขึ้นอยู่กับค่าที่สุดขั้วเพียงตัวเดียว

iqr = q3 - q1   # 1887.5

ใช้ IQR หา outlier

กฎที่ใช้กันทั่วไปในการหา outlier ด้วย IQR คือกำหนด “fence” (รั้ว) สองเส้น:

• upper fence (รั้วบน): Q3 + 1.5 × IQR
• lower fence (รั้วล่าง): Q1 - 1.5 × IQR

ค่าไหนที่อยู่นอกรั้วทั้งสองนี้ถือว่าเป็น outlier ที่ควรตรวจสอบเพิ่มเติม

upper_fence = q3 + 1.5 * iqr
n_outliers = (products['price'] > upper_fence).sum()

ตัวคูณ 1.5 เป็นส่วนสำคัญของสูตร ไม่ใช่ตัวเลือก — ถ้าลืมใส่แล้วใช้ Q3 เฉยๆ เป็น fence จะได้เส้นแบ่งที่ต่ำ เกินไป ทำให้สินค้าที่ราคาแค่ “แพงกว่าค่ามัธยฐานหน่อย” (ไม่ได้ผิดปกติจริง) ถูกนับเป็น outlier ไปด้วยเยอะเกินจำเป็น

ข้อดีของวิธีนี้คือไม่ต้องสมมติว่าข้อมูลมีการแจกแจงแบบใดแบบหนึ่ง (เช่น normal distribution) เหมือนกฎ z-score ที่จะเรียนในบทถัดไป — IQR fence ใช้ได้กับข้อมูลเบ้แรงๆ อย่างยอดขายหรือราคาสินค้าได้อย่างสมเหตุสมผลกว่า