บริเวณกระทรวงกลาโหม อดีตเคยเป็นที่ตั้งของวัง 3 วัง ซึ่งพระบาทสมเด็จพระพุทธยอดฟ้าจุฬาโลกมหาราช รัชกาลที่ 1 โปรดเกล้าฯ ให้สร้างพระราชทานแก่พระเจ้าลูกยาเธอ 3 พระองค์ โดยอาคารหลังที่จัดแสดงปืนโบราณด้านหน้านั้น เดิมคือโรงทหารหน้า ซึ่งรัชกาลที่ 5 โปรดเกล้าฯ ให้สร้างขึ้นเพื่อเป็นที่อยู่ของทหารประจำการรักษาพระนคร โดยลักษณะของอาคารเป็นสถาปัตยกรรมอาคารหมู่แบบยุโรป ทั้งนี้ พิพิธภัณฑ์ปืนใหญ่โบราณเป็นพิพิธภัณฑ์กลางแจ้ง ซึ่งจัดแสดงปืนใหญ่บริเวณด้านหน้าของกระทรวงกลาโหม โดยเรียงลำดับหมวดหมู่ตามอายุ และยุคสมัยของปืน เริ่มจากปลายกรุงศรีอยุธยา กรุงธนบุรี และกรุงรัตนโกสินทร์ ซึ่งมีทั้งหมด 40 กระบอก แต่ละกระบอกมีป้ายชื่อและประวัติจารึกบนแผ่นทองเหลือง อธิบายความเป็นมา โดยปืนส่วนใหญ่สร้างขึ้นในสมัยกรุงรัตนโกสินทร์