"วัดเขากำแพง สันนิษฐานกันว่าสร้างมาตั้งแต่ครั้งสมัยทวารวดีเนื่องจากเคยมีการขุดพบวัตุุโบราณรวมถึงพระพุทธรูปในสมัยทวารวดีได้บริเวณวัด ต่อมาคาดว่าคงได้ถูำกทิ้งร้างไว้เมื่อหมดยุคจนกระทั่งสมัยอยุธยาจึงมีผู้คนเข้ามาในพื้นที่อีกครั้ง ตามเอกสารระบุว่าก่อนที่จะมีการบูระวัดให้เป็นสภาพในปัจจุบัน ไ้ด้มีชาวบ้านขุดพบแนวฐานพระอุโบสถสมัยเก่าด้วย แต่ชาวบ้านมิได้สนใจและทำการสร้างทับแนวฐานพระอุโบสถใหม่ไป และบนเขากำแพงยังมีปากปล่องภูเขาไฟพร้อมทั้งเศษซากหินลาวาอยู่ด้วย นักธรณีวิทยาให้ความเห็นว่าบนเขากำแพงน่าจะเคยเป็นภูเขาไฟมาก่อนแต่ได้ดับมาเป็นเวลานานแล้ว อีกตำนานหนึ่งกล่าวว่าสมัยสมเด็จพระนเรศวรมหาราช ท่านได้ยกทัพมาดักตีพม่าที่ช่องเขาบริเวณนี้เนื่องทราบข่าวว่าพม่าเดินทางผ่านทัพเข้ามาทางด่านเจดีย์สามองค์และเดินทัพผ่านทางอู่ทองเพื่อเข้าตีกรุงศรีอยุธยา ปรากฏว่าที่สุดได้เกิดการรบขึ้นในบริเวณนี้แล้วฝ่ายไทยได้รับชัยชนะเนื่องจากชัยภูมิของช่องเขาที่เป็นดั่งกำแพงทำให้ข้าศึกที่มีกำลังมากกว่าก็เข้าตีพร้อมกันไม่ได้ เหล่าทหารจึงเรียกขานภูเขานี้ว่า ""เขากำแพง"" มาตั้งแต่นั้น"