ที่ตั้งเดิมของ วัดสวนป่านเป็นส่วนหนึ่งของบริเวณวังกษัตริย์ หรือเจ้าเมืองนครศรีธรรมราชมีสภาพเป็นเนินสูงมาก่อน อันเป็นส่วนหนึ่งของภูมิประเทศซึ่งเดิมเรียกว่า "กระหม่อมโคก" มีลักษณะเป็นเนินสูงคล้ายภูเขาเล็กๆที่เกิดขึ้นตามธรรมชาติ เมื่อประมาณ 900 กว่าปีมาแล้วกษัตริย์ผู้ตั้งเมืองใหม่ได้ปรับที่เนินนี้ให้ราบเรียบเพื่อตั้งเป็นวังส่วนที่ตั้งของวัดไม่ได้ปรับที่เนินให้ราบเรียบ ยังคงรักษาให้เป็นเนินอยู่ตามเดิมเพื่อใช้เป็นที่เลี้ยงช้างหลวง มีเนื้อที่ประมาณ 50 ไร่ มีโรงเลี้ยงช้างอยู่ 3 โรงจึงไม่มีผู้ใดแม้แต่ลูกหลานหรือเชื้อสายของกษัตริย์ ประสงค์จะใช้เป็นที่อยู่อาศัยเพราะความเชื่อที่ว่า ที่นี่ช้างอยู่ ช้างเกิด ช้างตาย มาก่อนคนจะไปอยู่อาศัยไม่ได้ มักจะมีอันต้องเสียชีวิตหรือไม่ก็ทำให้เดือดร้อนต่างๆบริเวณเนินสวนป่านจึงถูกทอดทิ้งให้รกร้างว่างเปล่าอยู่เป็นเวลานาน ต่อมาท่านเจ้าคุณพระรัตนธัชมุนี(ม่วง เปรียญ) ในสมัยรัชกาลที่ 5 เห็นว่าที่ดินบริเวณโรงเลี้ยงช้างหลวงเป็นที่รกร้างอยู่และอยู่ใกล้กับศาลากลางจังหวัดและศาลจังหวัดดูไม่เป็นที่เจริญตา ประกอบกับทางราชการฝ่ายอาณาจักรก็มิได้คิดที่จะใช้ที่ดินบริเวณนั้นให้เป็นประโยชน์ท่านเจ้าคุณพระรัตนธัชมุนีจึงจัดตั้งวัดขึ้นเป็นวัดของธรรมยุตนิกายแล้วตั้งชื่อวัดที่ตั้งใหม่ว่า"วัดสวนป่าน"หลังจากที่เจ้าคุณพระรัตนธัชมุนี (ม่วง เปรียญ)ผู้ก่อตั้งวัดสวนป่านได้ถึงแก่มรณภาพไปเมื่อปี พ.ศ.2477 แล้วศิษยานุศิษย์ของท่านเจ้าคุณฯได้สร้างเจดีย์แบบลังกาย่อส่วนขึ้นไว้เป็นที่ระลึกถึงท่านเจ้าคุณด้วยความกตัญญูกตเวทีให้เป็นอนุสรณ์ของท่าน ซึ่งเจดีย์นี้ก็ยังคงปรากฏให้เห็นอยู่ในวัดสวนป่านตลอดมาจนถึงทุกวันนี้