โบราณสถานตั้งอยู่บนยอดเขาน้อยซึ่งเป็นเขาหินปูนสูงจากพื้นประมาณ 130 เมตร มีบันไดทางขึ้น 254 ขั้น แล้วเดินขึ้นต่อไปไม่ไกลก็จะถึงบริเวณตัวปราสาท หรือ สามารถไปทางรถโดยผ่านวัดเขาน้อยสีชมพู ไปตามทางอ้อมเขาประมาณ 1 กิโลเมตร เดินเท้าต่อขึ้นไปอีกประมาณ 250 เมตร สั