วัดถ้ำทองพรรณรา เป็นสถานที่สำคัญซึ่งเป็นที่ยึดเหนี่ยวจิตใจของชาวบ้าน รวมทั้งยังถือเป็นแหล่งท้องเที่ยวที่น่าสนใจประจำอำเภอ ถ้ำพรรณรา โดยมีเรื่องเล่าสืบต่อกันมาจนเป็นตำนานว่า เมื่อประมาณ พ.ศ.1300 1319 เป็นช่วงที่ได้มีการสร้างพระบรมธาตุ ซึ่งในระหว่างนั้น มีนางชีปริง และชีปราง เดินทางมาตามแม่น้ำตาปี เพื่อต้องการนำแก้วแหวน เงินทอง ไปร่วมในพิธีก่อสร้างพระบรมธาตุ แต่เมื่อมาถึงอู่เรือ (หนองค้อ) ได้ทราบข่าวว่า พระบรมธาตุสร้างเสร็จแล้ว จึงนำเรือเข้าเทียบท่า เพื่อต้องการหาสถานที่ที่จะสร้างพระพุทธไสยาสน์ ให้อยู่คู่กับพระบรมธาตุ และได้พบถ้ำทองพรรณรา ซึ่งเห็นว่ามีสถานที่เหมาะสม จึงได้ตัดสินใจสร้างพระพุทธไสยาสน์ไว้ในถ้ำแห่งนี้ โดยเป็นพระพุทธรูป ยาว 11 เมตร สูง 5 เมตร และได้นำของมีค่าต่างๆ บรรจุไว้ในองค์พระพุทธไสยาสน์นั้นด้วย ต่อมาเมื่อนางชีปริงและนางชีปรางถึงแก่กรรม ลูกหลานจึงได้สร้างพระพุทธรูปขึ้น 2 องค์และนำกระดูกของนางชีปริงและนางชีปรางบรรจุไว้ด้วย พอถึงวันขึ้น 1 ค่ำ เดือน 11 ก็จะมีการทำบุญบูชา พระพุทธไสยาสน์ และพระพุทธรูปที่บรรจุกระดูกของนางชีปริงและนางชีปราง เป็นประจำตลอดมาทุกปี โดยจะมีประชาชนจากทั่วสารทิศมามนัสการพระพุทธไสยาสน์แก้บนด้วยขนมพอง ขนมลาและเที่ยวชมถ้ำต่างๆภายในวัด ซึ่งมีอยู่หลายถ้ำ จนกลายเป็น ประเพณีขึ้นถ้ำ ที่สืบทอดกันเรื่อยมาจนถึงปัจจุบันนี้