นิยามสั้น
Overfitting หรือ curve fitting คือการปรับกฎหรือพารามิเตอร์ของกลยุทธ์ให้เข้ากับข้อมูลราคาในอดีตมากเกินไป จนกลยุทธ์จับ "สัญญาณรบกวน" (noise) แทนรูปแบบที่เกิดซ้ำได้จริง
ผลที่ตามมาคือ backtest (การทดสอบกลยุทธ์กับข้อมูลย้อนหลัง) ดูดีมาก แต่ผลกับข้อมูลใหม่มักแย่ลงชัดเจน
พร้อมลองกับบัญชีจริงหรือบัญชีทดลองแล้วหรือยัง?
ลิงก์พาร์ทเนอร์ · การเทรดมีความเสี่ยงสูงที่จะขาดทุน
นิยามเชิงเทคนิค
ในทางสถิติ overfitting คือสภาพที่โมเดลมีความซับซ้อนสูงเกินกว่าปริมาณข้อมูลที่มีอยู่จะรองรับได้ ความผิดพลาดกับข้อมูลที่ใช้ปรับค่า (in-sample) จึงต่ำ แต่ความผิดพลาดกับข้อมูลที่ไม่เคยเห็น (out-of-sample) สูง ซึ่งตรงกับฝั่ง "ความแปรปรวนสูง" ใน bias–variance trade-off
ปัจจัยที่ทำให้เกิด overfit กลยุทธ์เทรดได้ง่าย:
- องศาอิสระมากเกินไป มีพารามิเตอร์และตัวกรองจำนวนมาก แต่มีจำนวนเทรดในข้อมูลทดสอบน้อย
- Data snooping / multiple testing ลองชุดค่าจำนวนมากกับข้อมูลชุดเดียวกัน แล้วเลือกชุดที่ดีที่สุด ผลที่ดีที่สุดบางส่วนจึงมาจากความบังเอิญ
- เพิ่มกฎหลังเห็นผล ใส่เงื่อนไขขึ้นมาเพื่อตัดเทรดที่ขาดทุนในอดีตโดยเฉพาะ
ตัวอย่างสมมติ
ผู้เทรดคนหนึ่งทดสอบกลยุทธ์เส้นค่าเฉลี่ยเคลื่อนที่ตัดกันบน XAUUSD
- ลองทุกชุดของคาบเส้นเร็ว คาบเส้นช้า ระยะ stop loss และ take profit
- เลือกชุดที่ให้ equity curve เรียบที่สุด
- เห็นว่าเทรดขาดทุนกระจุกอยู่ในวันหนึ่งของสัปดาห์และช่วงเวลาหนึ่งของวัน จึงเพิ่มกฎ "ไม่เทรดในวันและเวลานั้น"
- ผลย้อนหลังออกมาเกือบไม่มีช่วงขาดทุนติดกัน
เมื่อนำไปใช้กับช่วงข้อมูลที่ไม่ได้ใช้ปรับค่า ผลกลับแกว่งและขาดทุนลึกกว่าที่เห็นใน backtest มาก เพราะกฎในข้อสามอธิบายเฉพาะเหตุการณ์ในอดีต ไม่ได้สะท้อนพฤติกรรมราคาที่เกิดซ้ำ ในการเทรดจริงที่ใช้เลเวอเรจ ความต่างนี้อาจทำให้เสียเงินได้เร็ว
จะเจอคำนี้ที่ไหน
- MetaTrader 4 และ MetaTrader 5: เครื่องมือ Strategy Tester มีโหมด optimization ที่ไล่ทดสอบชุดพารามิเตอร์ ใน MT5 สามารถแยกช่วง forward ไว้ตรวจผลกับข้อมูลที่ไม่ได้ใช้ปรับค่า ดูเพิ่มที่ MetaTrader 5
- รายงาน backtest: กราฟ equity ที่เรียบผิดปกติ หรือผลที่เปลี่ยนมากเมื่อขยับพารามิเตอร์เพียงเล็กน้อย มักถูกตั้งข้อสังเกตว่าเป็น curve fitting
- ข่าวและบทวิจารณ์: ใช้วิจารณ์ระบบเทรดอัตโนมัติ กองทุนเชิงปริมาณ และโมเดล machine learning ที่โชว์ผลย้อนหลังสูง
กรณีที่มักสับสน
- Regime change: ตลาดเปลี่ยนลักษณะ กลยุทธ์ที่ไม่ได้ overfit ก็อาจหยุดใช้ได้ เพียงแต่สาเหตุต่างกัน
- Look-ahead bias: ใช้ข้อมูลที่ ณ เวลานั้นยังไม่มี เป็นความผิดพลาดของการทดสอบ ไม่ใช่การปรับค่ามากเกินไป
- Survivorship bias: ทดสอบเฉพาะสินทรัพย์ที่ยังอยู่รอด
- Underfitting: ด้านตรงข้าม คือโมเดลง่ายเกินจนไม่จับรูปแบบใดเลย
ทั้งนี้ ผล out-of-sample ที่ดีก็ไม่ได้ยืนยันว่ากลยุทธ์จะได้กำไรในอนาคต
ศัพท์ที่เกี่ยวข้อง
- Equity Curve
- ค่าอัลฟ่า
- Fat Tails และ Tail Risk
- แบล็คสวอน
- เทรดผ่าน API
- กลยุทธ์การเทรด
- การบริหารความเสี่ยง
- จิตวิทยาการเทรด
- ศัพท์เทรดและการเงิน
คำถามที่พบบ่อย
overfitting กับ curve fitting ต่างกันไหม
ในบริบทการเทรด ใช้แทนกันได้ ทั้งคู่หมายถึงการปรับกลยุทธ์ให้เข้ากับข้อมูลอดีตมากเกินไป
backtest overfitting ดูออกได้อย่างไร
สัญญาณที่พบบ่อยคือ ผลดีเฉพาะชุดพารามิเตอร์แคบ ๆ มีกฎที่อธิบายเหตุผลไม่ได้ และผลกับข้อมูลที่ไม่ได้ใช้ปรับค่าแย่ลงมาก
ใช้ optimization ใน MetaTrader แล้วจะ overfit เสมอไหม
ไม่เสมอไป ความเสี่ยงจะสูงขึ้นเมื่อมีพารามิเตอร์มาก จำนวนเทรดน้อย และเลือกเพียงชุดที่ผลดีที่สุดโดยไม่ตรวจสอบกับข้อมูลที่ไม่ได้ใช้ปรับค่า
กลยุทธ์ที่ไม่ overfit จะทำกำไรแน่นอนไหม
ไม่ การเทรด CFD และฟอเร็กซ์ที่ใช้เลเวอเรจขาดทุนได้เร็ว ไม่ว่ากลยุทธ์จะผ่านการทดสอบมาดีแค่ไหน
