วัดผลโมเดล classification

accuracy อย่างเดียวไม่พอ

accuracy = สัดส่วนที่ทายถูก — ใช้ได้ดีเมื่อคลาสสมดุล แต่หลอกตาได้ง่ายเมื่อคลาสหนึ่งพบน้อยมาก (imbalanced) เพราะการทายคลาสส่วนใหญ่ทุกแถวก็ได้ accuracy สูงแล้ว

confusion matrix

ตารางนับผลการทำนายทั้ง 4 แบบ (คลาส 1 คือ “positive”):

	ทำนาย 0	ทำนาย 1
จริง 0	TN (ถูก)	FP (ทำนาย 1 ผิด)
จริง 1	FN (พลาด)	TP (ถูก)

from sklearn.metrics import confusion_matrix

tn, fp, fn, tp = confusion_matrix(y_test, pred).ravel()

precision, recall, F1

• precision = TP / (TP + FP) — ในกลุ่มที่ทำนายว่าเป็น 1 จริงๆ ถูกกี่ %
• recall = TP / (TP + FN) — ในกลุ่มที่เป็น 1 จริงๆ จับได้กี่ %
• F1 — ค่าเฉลี่ยแบบ harmonic ของ precision กับ recall (สูงเมื่อทั้งสองสูงพร้อมกัน)

precision กับ recall มักแลกกัน: ตั้งเกณฑ์ต่ำ → จับได้เยอะ (recall สูง) แต่ทายผิดเยอะ (precision ต่ำ) และกลับกัน

ROC-AUC

roc_auc_score(y_test, proba) วัดว่าโมเดล จัดอันดับ ได้ดีแค่ไหนโดยไม่ขึ้นกับ threshold — คือโอกาสที่ตัวอย่างคลาส 1 ที่สุ่มมาจะได้ความน่าจะเป็นสูงกว่าตัวอย่างคลาส 0 ที่สุ่มมา 0.5 = เดาสุ่ม, 1.0 = จัดอันดับสมบูรณ์แบบ

accuracy paradox: ตัวอย่างจริง

ลองทำนายว่าออเดอร์แรกของลูกค้า “ถูกยกเลิก” (พบเพียง ~6%) — ทายว่า “ไม่ยกเลิก” ทุกแถวได้ accuracy ~94% ทันที โมเดลที่ฝึกมาก็ได้เท่ากันเป๊ะ แต่ recall = 0 (จับออเดอร์ที่ยกเลิกไม่ได้เลย) ตัวเลข accuracy สูงจึงไม่ได้แปลว่าโมเดลมีประโยชน์ ตัวเลือกหนึ่งคือ class_weight='balanced' ที่ให้น้ำหนักคลาสหายากมากขึ้น — ในข้อมูลนี้ recall เพิ่มจาก 0 เป็น 0.5778 แต่แลกด้วย precision เหลือ 0.0785 และ accuracy ตกเหลือ 0.5437 (เพราะทายเป็น “ยกเลิก” เยอะขึ้น)