พันตรี ควง อภัยวงศ์ เกิดเมื่อวันเสาร์ที่ 17 พฤษภาคม 2445 ที่เมืองพระตะบอง (ขณะนั้นพระตะบองยังเป็นจังหวัดหนึ่งในมณฑลบูรพาของไทย) เป็นบุตรเจ้าพระยาอภัยภูเบศร์ (ชุ่ม อภัยวงศ์) กับคุณหญิงรอด อภัยวงศ์
หลังจาก พ.ศ. 2450 ไทยต้องยกมณฑลบูรพา เสียมราฐ และพระตระบองให้แก่ประเทศฝรั่งเศส ครอบครัวเจ้าพระยาอภัยภูเบศร์จึงย้ายมาตั้งหลักแหล่งที่ปราจีนบุรี
พันตรีควง อภัยวงศ์เริ่มเรียนหนังสือชั้นประถมต้นที่โรงเรียนอภัยพิทบาตร จังหวัดปราจีนบุรี และโรงเรียนวัดเทพศิรินทร์ และเรียนชั้นประถมปลายจนถึงมัธยมที่โรงเรียนอัสสัมชัญ หลังจากนั้นสำเร็จการศึกษาระดับปริญญาตรีสาขาวิศวกรรมโยธา จาก Ecole Centrale de Lyon ประเทศฝรั่งเศส เมื่อ พ.ศ. 2470 ในระหว่างที่ศึกษาอยู่ ณ ประเทศฝรั่งเศสได้คบค้าสมาคมกับนักศึกษาไทยที่ต่อมามีบทบาทสำคัญในประวัติศาสตร์การเมืองการปกครองหลายคน เมื่อกลับประเทศไทยได้เริ่มทำงานที่กรมไปรษณีย์โทรเลขจนกระทั่งได้เป็นอธิบดีกรมไปรษณีย์โทรเลขเมื่อ พ.ศ. 2478 มีบรรดาศักดิ์เป็นหลวงโกวิทอภัยวงศ์ก่อนจะกราบถวายบังคมลาออกจากบรรดาศักดิ์เมื่อ พ.ศ. 2484 และออกมาเป็นนักการเมืองเต็มตัวในเวลาต่อมา
พันตรีควง อภัยวงศ์เป็นสมาชิกก่อตั้งพรรคประชาธิปัตย์ และเป็นนักการเมืองที่มีประวัติการทำงานโดดเด่นมากที่สุดคนหนึ่งทั้งเมื่อเป็นรัฐบาลและฝ่ายค้าน
พันตรีควง อภัยวงศ์ เคยเป็นนายกรัฐมนตรีถึง 4 สมัย แม้ว่าจะดำรงตำแหน่งในระยะเวลาอันสั้นแต่ก็เป็นช่วงที่บ้านเมืองอยู่ในยามคับขันทุกครั้ง เช่น ในช่วงสงครามโลกครั้งที่ 2