ด้านหน้าวัดติดริมฝั่ง แม่น้ำแม่กลอง เป็นวัดเก่าแก่โบราณสมัยกรุงศรีอยุธยาตอนปลาย สันนิฐานว่า เชื้อพระวงศานุวงศ์ เป็นผู้สร้างวัดนี้ขึ้นมา อีกก็ว่า เป็นพระยาในสมัยนั้นเป็นผู้สร้าง จึงไม่เป็นที่แน่ชัดว่า ผู้ใดเป็นผู้สร้างวัดนี้ขึ้น จากหลักฐานของกองพุทธศาสนาบันทึกไว้ว่า ได้ตั้งเป็นวัดเมื่อปี พ.ศ. ๒๒๔๕ ร่วมอายุของวัดนี้แล้ว ๓๐๐ ปีเศษ จึงทำให้ถาวรวัตถุในวัดหลายๆชิ้นที่เหลืออยู่ในปัจจุบัน เป็นสิ่งที่ยืนยังได้ ถึงความเก่าแก่ของวัดสวนหลวง แห่งนี้ ไม่ว่าจะเป็น หลวงพ่อจักรนารายณ์ พระพุทธรูปโบราณปูนปั้น ที่มีความศักดิ์สิทธิ์ ที่ประดิษฐ์สถานอยู่ในอุโบสถ เจดีย์โบราณสมัยกรุงศรี อยุธยาตอนปลาย ที่ตั้งอยู่ข้างอุโบสถ กุฏิสงฆ์ที่สร้างในสมัยรัชการที่ ๕ แห่งเดียวในจังหวัดสมุทรสงคราม พระพุทธรูปโบราณอีกจำนวนหนึ่งซึ่งทางวัดได้เก็บรักษาไว้จนถึงปัจจุบัน นอกจากนั้นยังมีสิ่งศักดิ์สิทธิ์ที่เล่าขานกันมาจนถึงปัจจุบันอีกหลายอย่าง อาทิเช่น พี่จุก กุมารเทพ ที่มีความศักดิ์สิทธิ์ โด่งดังไปทั่วโลก และน้ำศักดิ์สิทธิ์ จากตอต้นมะม่วงที่มีน้ำขังอยู่ ตลอดเวลา ชาวบ้านเชื่อกันว่าน้ำนั้นรักษาได้ทุกโรค แต่เนื่อง จากมีกลุ่มคนบางกลุ่มได้หาผลประโยชน์ จึงทำให้ น้ำในบ่อเหือดแห้งไปปัจจุบันบ่อน้ำศักดิ์ได้เป็นที่ตั้งของศาลาการเปรียญในปัจจุบัน