ชื่อวัดมาจากที่ตั้งที่อยู่บนเนินสูง มีความเงียบสงบ จึงเรียกว่า วัดชมภูวิเวก ต่อมาเหลือเพียงวัดชมภูเวก ชาวมอญในสมัยกรุงศรีอยุธยาตอนปลายเป็นผู้สร้างขึ้นประมาณพ.ศ. 2300 จิตรกรรมฝาผนังในโบสถ์หลังเก่าเป็นภาพพุทธประวัติและทศชาติ ประดิษฐานพระประธานสมัยสุโขทัยและพระพุทธรูปยืน 2 องค์ นอกจากนี้บริเวณวัด ยังมีพระเจดีย์รามัญ เรียกว่า “พระมุเตา” สร้างโดยพระสงฆ์จากเมืองมอญเมื่อ พ.ศ.2460 สันนิษฐานว่าภายในบรรจุพระบรมสารีริกธาตุ