พระบาทสมเด็จพระนั่งเกล้าเจ้าอยู่หัว โปรดเกล้าฯ ให้เจ้าพระยาพระคลังสร้างขึ้นเมื่อวันที่ ๙ มกราคม พ.ศ. ๒๓๗๗ โดยรื้อศิลาแลงและอิฐของกำแพงจากเมืองเก่าจันทบุรีไปสร้างเพื่อป้องกันการรุกรานของพวกญวน บนกำแพงค่ายวางปืนใหญ่เรียงรายอยู่โดยรอบ ภายในบริเวณค่ายมีศาลหลั