เมื่อไม่มีผู้นำดยุครูดอล์ฟแห่งออสเตรีย (Rudolf of Habsburg) จากตระกูลแฮปสบูร์กจึงได้รับเลือกเป็นกษัตริย์แห่งเยอรมนีใน ค.ศ. 1273 แต่ไม่ได้สวมมงกุฎเป็นจักรพรรดิ บรรดาเจ้าครองแคว้นต่าง ๆ ก็อาศัยโอกาสตั้งตนเป็นอิสระกันหมด ทำให้พระเจ้ารูดอล์ฟทรงมีอำนาจเฉพาะในแคว้นออสเตรียเท่านั้น ตระกูลสามตระกูล คือ แฮปสบูร์ก ลักเซมบูร์ก และวิตเตลสบาค พลัดกันเป็นกษัตริย์แห่งเยอรมนีใน ค.ศ. 1312 พระเจ้าเฮนรีแห่งโบฮีเมีย ตระกูลลักเซมเบิร์ก (Luxembourg) สวมมงกุฎเป็นจักรพรรดิ ทำให้มีจักรพรรดิโรมันอันศักดิ์สิทธิ์อีกครั้ง แต่นับแต่นั้นมาจักรพรรดิทุกพระองค์มีอำนาจเฉพาะในแคว้นของตนเท่านั้น เยอรมนีจึงแตกเป็นแคว้นเล็กแคว้นน้อย และรวมกันไม่ได้อีกเลยไปอีก 600 ปี

ราชวงศ์ลักเซมบูร์กปกครองจักรวรรดิโรมันอันศักดิ์สิทธิ์แต่มีอำนาจเฉพาะในแคว้นโบฮีเมียเท่านั้น แม้จักรพรรดิหลายพระองค์จะทรงพยายามกู้พระราชอำนาจคืนแต่ก็ไม่สำเร็จ ใน ค.ศ. 1350 กาฬโรค (The Black Death) ระบาดมายังเยอรมนี คร่าชีวิตผู้คนไปหลายล้าน ใน ค.ศ. 1356 ออกพระราชกฤษฎีกาทองคำ (Golden Bull) ปรับปรุงระบบการปกครองจักรวรรดิโรมันอันศักดิ์สิทธิ์ใหม่ แต่งตั้งอิเล็กเตอร์ทั้งเจ็ดเป็นบรรพชิตสามคน ขุนนาง 4 คน คือ

อาร์คบิชอปแห่งโคโลญ (Archbishop of Cologne)
อาร์คบิชอปแห่งไมนซ์ (Archbishop of Mainz)
อาร์คบิชอปแห่งทรีแยร์ (Archbishop of Trier)
กษัตริย์แห่งโบฮีเมีย (King of Bohemia)
มาร์เกรฟแห่งบรานเดนบวร์ก (Margrave of Brandenburg)
เคาน์พาลาติเนตแห่งไรน์ (Count Palatinate of the Rhine)
ดยุคแห่งแซกโซนี (Duke of Saxony) เลื่อนขั้นมาจาก แซก-วิทเทนเบิร์ก (Saxe-Wittenberg)

พระเจ้าซิจิสมุนด์ ใน ค.ศ. 1414 พระเจ้าซิจิสมุนด์แห่งฮังการี (Sigismund) ทรงได้เป็นกษัตริย์แห่งเยอรมนี ในแคว้นโบฮีเมียเกิดลัทธินอกรีตของ แจน ฮุส (Jan Hus) แจน ฮุส ถูกเผาทั้งเป็นใน ค.ศ. 1415 ใน ค.ศ. 1417 ทรงแต่งตั้งให้ตระกูลโฮเฮนโซเลิร์น (Hohenzollern) เป็นมาร์เกราฟแห่งบรานเดนบวร์ก ใน ค.ศ. 1419 พระเจ้าซิจิสมุนด์ได้เป็นกษัตริย์แห่งโบฮีเมีย แต่ชาวโบฮีเมียไม่ยอมรับ เพราะทรงสังหาร แจน ฮุส ก่อกบฎลุกฮือต่อต้าน พระเจ้าซิจิสมุนด์ทรงนำทัพเข้าปราบเรียกว่าสงครามฮุสไซท์ (Hussite War) ซึ่งพระเจ้าซิจิสมุนด์ก็ทรงไม่สามารถจะยึดแคว้นโบฮีเมียได้

ใน ค.ศ. 1437 พระลูกเขยของพระเจ้าซิจิสมุนด์ คือเฟรเดอริค ดยุคแห่งออสเตรีย ขึ้นเป็นจักรพรรดิเฟรเดอริคที่ 3 ทำให้ราชวงศ์แฮปสบูร์กปกครองจักรวรรดิโรมันอันศักดิ์สิทธิไปอีก 400 ปี

จักรพรรดิแมกซิมิเลียนที่ 1 (Maximilian) ทรงอภิเษกกับแมรีแห่งเบอร์กันดี (Mary of Burgundy) ทำให้ทรงได้รับแคว้นเบอร์กันดีและประเทศภาคต่ำ (Low Countries) มาครอง ทรงมอบแคว้นเบอร์กันดีให้พระโอรสคือฟิลิปผู้รูปหล่อ (Philip the Handsome) ใน ค.ศ. 1495 ทรงออกจักรวรรดิปฏิรูป (Reichsreform) แบ่งรัฐต่างในจักรวรรดิเป็นกลุ่ม (Reichskreise) และตั้งศาลสูงสุดในจักรวรรดิ (Reichskammergeritch) การปฏิรูปของจักรพรรดิแมกซิมิเลียนจะส่งผลต่อการปกครองของจักรวรรดิโรมันอันศักดิ์สิทธิ์ไปจนล่มสลาย