ปราสาทสังแก ( “สังแก” เป็นภาษาท้องถิ่น เป็นชื่อที่ใช้เรียกต้นไม้ชนิดหนึ่ง ) มีที่มาจากที่บริเวณปราสาทมีต้นสังแกจำนวนหลายต้นขึ้นอยู่บริเวณรอบปราสาทนั้น ปราสาทแห่งนี้ถูกสร้างขึ้นมาตั้งแต่สมัยอาณาจักรขอม สร้างโดยชายคนหนึ่งต้องเดินทางไปเอาดินบริเวณหนองน้ำด้านหลังวัด ด้วยระยะทางร่วม 1 กิโลเมตร ต่อมาพื้นที่แห่งนี้ได้กลายเป็นเขตของเขมรยุคคอมมิวนิสต์ (เข้าใจว่าน่าจะเป็นยุคเขมรแดง) และต่อมาถูกทิ้งปล่อยให้ว่างร้างไป ไม่มีผู้คนอาศัยอยู่เลย และได้กลายมาเป็นเพียงทางที่ใช้ผ่านสัญจรเพื่อเดินทางไปศรีสะเกษ และเรียกว่า “ป่าช้าปราสาท” ในสมัยนั้น