พระราชฐานส่วนพระองค์ สมเด็จพระนางเจ้ารำไพพรรณี และพระราชทานนามสถานที่แห่งนี้ตามชื่อคลองว่า “สวนบ้านแก้ว”