พุทธศักราช ๒๕๑๑ สมเด็จพระนางเจ้ารำไพพรรณีฯ ได้เสด็จพระราชดำเนินกลับไปประทับ ณ วังศุโขทัยเป็นการถาวร เนื่องจากทรงมีพระประยูรญาติและข้าราชบริพารส่วนใหญ่เป็นสตรี ยากที่จะตามเสด็จพระราชดำเนินไปต่างจังหวัด ประกอบกับพระองค์ทรงมีพระชนมายุสูงขึ้นและพระพลานามัยไม่สมบูรณ์นัก ดังนั้นเมื่อรัฐบาลกราบบังคมทูลพระกรุณาขอรับพระราชทานสวนบ้านแก้ว เพื่อก่อตั้งเป็นวิทยาลัยครูจันทบุรี โดยทูลเกล้าฯ ถวายเงินเพียง ๑๘ ล้านบาท สมเด็จพระนางเจ้ารำไพพรรณีฯ ก็ทรงโปรดเกล้าฯ พระราชทานให้ด้วยความเต็มพระราชหฤทัย ด้วยทรงมุ่งส่งเสริมให้จังหวัดจันทบุรีได้มีสถาบันการศึกษาชั้นสูง เพื่อให้การศึกษาแก่เยาวชนที่มีภูมิลำเนาในจังหวัดจันทบุรี และจังหวัดใกล้เคียง
กระทรวงศึกษาธิการได้ประกาศตั้งวิทยาลัยครูจันทบุรี เมื่อวันที่ ๘ มิถุนายน พุทธศักราช ๒๕๑๕ เริ่มทำการสอนในระดับประกาศนียบัตรวิชาการศึกษา ต่อมาในปีพุทธศักราช ๒๕๑๖ วิทยาลัยได้พระราชทานตรา “ศักดิเดชน์” ซึ่งเป็นตราประจำพระองค์พระบาทสมเด็จพระปกเกล้าเจ้าอยู่หัว เป็นตราประจำวิทยาลัย และปีพุทธศักราช ๒๕๒๘ วิทยาลัยครูจันทบุรีก็ได้รับพระราชทานพระบรมราชานุญาตจากพระบาทสมเด็จพระเจ้าอยู่หัวรัชกาลปัจจุบันให้อัญเชิญพระนามาภิไธยของสมเด็จพระนางเจ้ารำไพพรรณีพระบรมราชินีในรัชกาลที่ ๗ เป็นนามของวิทยาลัย คือ “วิทยาลัยรำไพพรรณี”
วันที่ ๑๔ กุมภาพันธ์ พุทธศักราช ๒๕๓๕ พระบาทสมเด็จ พระเจ้าอยู่หัวภูมิพลอดุลยเดชฯ ได้พระราชทานนามใหม่ให้แก่วิทยาลัยครูทั่วประเทศ คือ “สถาบันราชภัฏ” วิทยาลัยรำไพพรรณีจึงได้เปลี่ยนใช้นามใหม่ว่า “สถาบันราชภัฏรำไพพรรณี” ซึ่งปฏิบัติภารกิจในฐานะที่เป็นสถาบันอุดมศึกษาเพื่อการพัฒนาท้องถิ่น อันต้องกับพระราชประสงค์ของสมเด็จพระนางเจ้ารำไพพรรณีฯ