หอศิลป์ร่วมสมัยราชดำเนินตั้งอยู่ที่อาคารซึ่งเป็นหนึ่งในอาคาร 15 หลังริมสองฝั่งถนนราชดำเนิน ถูกสร้างขึ้นระหว่างปี พ.ศ. 2480 – 2491 (ค.ศ. 1937 1948) ในวาระการดำรงตำแหน่งนายกรัฐมนตรีของจอมพล ป. พิบูลสงคราม โดยกลุ่มอาคารนี้ถูกออกแบบด้วยอิทธิพลของสถาปัตยกรรมในยุค Modernist โดยสถาปนิกหลายท่าน อาทิ หม่อมหลวงปุ่ม มาลากุล และ คุณหมิว อภัยวงศ์ เป็นต้น จากนั้น อาคารหลังดังกล่าวได้ถูกใช้ทำกิจการต่าง ๆ จนผู้เช่าเดิมหมดสัญญาลงและอาคารได้ถูกปล่อยร้าง จนกระทั่งในปี พ.ศ. 2553 (ค.ศ. 2010) สำนักงานศิลปวัฒนธรรมร่วมสมัย กระทรวงวัฒนธรรม ได้ริเริ่มโครงการปรับปรุงอาคารแห่งนี้ขึ้น เพื่อใช้เป็นพื้นที่ทางศิลปะแห่งใหม่ให้ศิลปินใช้จัดแสดงผลงานและกิจกรรมสร้างสรรค์ด้านศิลปวัฒนธรรมร่วมสมัย อีกทั้งเป็นแหล่งเรียนรู้และให้บริการทางด้านงานศิลปะร่วมสมัยทุกสาขาให้แก่เยาวชนและประชาชนทั่วไป