ที่มาของชื่อ “เขาแดง” นั้น เพราะวัดนี้ตั้งอยู่ติดเทือกเขาแดงหรือเขาตะขาบ ชาวบ้านเรียก เขาหล่น หรือเขาแดง เพราะมองดูจะเห็นภูเขาลูกนี้โล้นโล่งเตียนเห็นภูเขาเป็นสีแดงจึงเรียกเขาแดง ภายในวัดเขาแดงจะมีพระพุทธนิมิตมงคล (หลวงพ่อใหญ่) ซึ่งเป็นพระพุทธรูปยืนปางพระร