"วัดบ้านสวน"เป็นวัดสาขาหนึ่งของสำนักวัดเขาอ้อ เนื่องเพราะอดีตเจ้าอาวาสวัดบ้านสวนต่างล้วนเป็นศิษย์สำนักวัดเขาอ้อทั้งสิ้น ความเป็นมาของ "วัดบ้านสวน" ได้สร้างขึ้นเมื่อ พ.ศ. 2070 ตรงกับสมัยของสมเด็จพระรามาธิบดีที่ 2 แห่งกรุงศรีอยุธยา สันนิษฐานว่า พระปรมาจารย์ผู้เฒ่าวัดเขาอ้อ พร้อมด้วยพุทธบริษัทเป็นผู้สร้างขึ้น และเจ้าอาวาสรูปแรกก็คงเป็น "ศิษย์" มาจากวัดเขาอ้อ ต่อมาเมื่อเสีย กรุงศรีอยุธยาในปี พ.ศ. 2310 วัดบ้านสวนอาจรกร้างทำให้เอกสารหลักฐานต่างๆ สูญหายไป มาปรากฏแต่ในชั้นหลังภายหลังจากที่พ่อท่านสมภารนอโม ซึ่งได้เดินทางมาศึกษาวิชาในสำนักวัดเขาอ้อ ต่อมาได้ออกเดินธุดงค์ในละแวกบ้านเขาอ้อ ดอนศาลา บ้านสวน และเห็นว่าที่บริเวณบ้านสวนเป็นเนินสูง มีวัดเก่าแก่รกร้าง ควรที่จะบูรณะ จึงได้ปักกลดบำเพ็ญสมณธรรมอยู่ในบริเวณนั้น โดยเมื่อแรกได้สร้างกุฏิ ซึ่งมีปรากฏหลักฐานอยู่บริเวณทางทิศใต้ของวัด ภายหลังได้มีผู้ศรัทธาทำรั้วรอบขอบชิดเป็นขอบเขตของกุฏิไว้เป็นส่วน หากปัจจุบันพระครูขันตยาภรณ์ (พรหม ขนฺติโก) เจ้าอาวาสวัดรูปปัจจุบัน ได้รื้อสร้างเป็นวิหารพ่อท่านสมภารนอโมเป็นที่ถาวรสถานแล้ว