บ้านอาจารย์ฝรั่งเริ่มต้นโดยทางกรมศิลปากรได้เช่าบ้านหลังนี้เอาไว้ เพื่อให้อาจารย์ศิลป์และครอบครัวได้พักอาศัย และท่านได้พำนักอยู่ที่นี่เป็นเวลาถึง 8 ปีด้วยกัน ก่อนจะย้ายไปอยู่บ้านที่สีลม ภายในพื้นที่ประกอบด้วยบ้านหลังใหญ่ 1 หลัง และบ้านหลังรองลงมาอีก 3 หลัง ปัจจุบันเป็นกรรมสิทธ์ของทางกองทัพบก ส่วนทางกรมศิลปากรได้ประกาศขึ้นทะเบียนเป็นโบราณสถานในราชกิจจานุเบกษา และได้มีการปรับปรุ่งซ่อมแซมตามลำดับ โดยมีก่ีจัดแสดงภาพถ่ายครอบครัวและผลงานของอาจารย์ศิลป์ บริเวณชั้นบนและชั้นล่างในส่วนของรูปทรงทางสถาปัตยกร