เจดีย์ปะการังที่วัดจันทน์ธาตุทาราม เป็นโบราณสถานเก่าแก่ของเมืองขนอม เชื่อกันว่ามีอายุมากกว่า1,000ปี ประดิษฐานอยู่บนยอดเขาธาตุ เจดีย์เป็นรูปโอคว่ำมีเส้นผ่าศูนย์กลางประมาณ 5 6 ม. สร้างขึ้นโดยนำหินปะการังมาจัดสร้างเป็นเจดีย์ทั้งองค์ รอบๆเจดีย์มีพระพุทธรูปแกะสลักด้วยหินทรายแดงแสดงให้เห็นว่าที่นี่เป็นแหล่งอารยธรรมทางด้านพุทธศาสนาสมัยหนึ่ง บนยอดเขาธาตุสามารถชมทิวทัศน์ของอ่าวท้องเนียนได้ ตามตำนานกล่าวว่าผู้มีจิตศรัทธาจากเมืองไชยา ได้รวบรวมทรัพย์สินเงินทองและของมีค่าต่างๆเพื่อไปบรรจุที่พระบรมธาตุเมืองนคร แต่ไม่ทันเพราะพระบรมธาตุได้สร้างเสร็จเสียก่อน ผู้มีจิตศรัทธาจึงได้ร่วมใจกันสร้างเจดีย์ขึ้นบนเขาธาตุโดยการนำปะการังที่มีอยู่ในบริเวณนั้นมาสร้างเป็นเจดีย์ทั้งองค์เป็นรูปโอคว่ำรอบๆเจดีย์มีพระพุทธรูปแกะสลักด้วยหินทรายแดง เชื่อว่าคงเป็นแหล่งอารยธรรมทางด้านพุทธศาสนาสมัยหนึ่งในบริเวณอ่าวทางตอนเหนือของคาบสมุทรนี้ อีกตำนานเล่าว่าได้มีเจ้านายชั้นผู้ใหญ่ และประชาชนจาก ชุมพร ประจวบคีรีขันธ์ สุราษฎร์ธานีที่มีจิตศรัทธาในองค์พระบรมธาตุ นครศรีธรรมราชได้นำแก้วแหวนเงินทองและของมีค่าต่างๆเพื่อไปบรรจุในองค์พระบรมธาตุนคร แต่ในระหว่างการเดินทางเรือได้อับปาง บางส่วนรอดชีวิตและถูกคลื่นซัดมาเกยฝั่งที่นี่ เลยได้ร่วมกันสร้างเจดีย์จากหินปะการังเพื่อบรรจุของมีค่าที่ยังเหลืออยู่แทนการนำไปบรรจุที่พระบรมธาตุนครศรีธรรมราช