วังสวนบ้านแก้ว เป็นสถานที่ซึ่งคนจันทบุรี รำลึกนึกถึงด้วยความรู้สึกอบอุ่นผูกพันลึกซึ้ง ด้วยครั้งหนึ่งเคยเป็นที่ประทับของ สมเด็จพระนางเจ้ารำไพพรรณี พระบรมราชินีในพระบาทสมเด็จพระปกเกล้าเจ้าอยู่หัวรัชกาลที่ 7 เป็นเวลาอันยาวนานถึง 18 ปี สมเด็จพระนางเจ้ารำไพพรรณี พระบรมราชินีในพระบาทสมเด็จพระปกเกล้าเจ้าอยู่หัวรัชกาลที่ 7 ได้เสด็จนิวัติประเทศไทยเมื่อวันที่ 24 พฤษภาคม พ.ศ.2492 และได้เสด็จพระราชดำเนินมาประทับ ณ พระตำหนักของสมเด็จพระมหิตลาธิเบศอดุลยเดช วิกรมพระบรมราชชนก ณ วังสระปทุม เนื่องจากรัฐบาลยังมิได