เมื่อครั้งต้นกรุงรัตนโกสินทร์ ศูนย์กลางของเมืองจันทบุรีตั้งอยู่ ณ บ้านลุ่ม ซึ่งอยู่ในบริเวณตัวเมืองในปัจจุบัน ต่อมาในสมัยรัชกาลที่ 3 ไทยเกิดศึกสงครามกับญวน พระบาทสมเด็จพระนั่งเกล้าเจ้าอยู่หัวทรงเห็นว่าที่ตั้งเมืองที่บ้านลุ่มนั้นไม่เหมาะต่อการตั้งฐานทัพ จึงโปรดเกล้าฯ ให้ย้ายเมืองมาตั้งมั่นในที่แห่งใหม่ คือบริเวณตำบลบางกะจะ ซึ่งเป็นที่ราบสูง ทุกวันนี้ถ้าขึ้นไปยืนอยู่บริเวณค่ายเนินวงจะสามารถเห็นเมืองจันทบุรีทั้งเมือง ตลอดถึงปากน้ำแหลมสิงห์ ซึ่งหมายความว่าจะได้เห็นการเคลื่อนทัพของข้าศึกศัตรูได้ชัดเจน เหมาะแก่การรับมือกับญวณเป็นอย่างยิ่ง ในครั้งนั้นได้มีการสร้างเสาหลักเมือง ณ วัดโยธานิมิต อันเป็นศูนย์รวมใจชาวเมืองจันทบุรีและสร้างประตูค่ายอย่างมิดชิดมั่นคงทั้ง 4 ทิศ เรียกว่าค่ายเนินวง ต่อสมัยรัชกาลพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัวจึงได้ย้ายเมืองกลับมาตั้ง ณ ที่เดิม คือบริเวณที่เป็นเมืองจันทบุรีปัจจุบัน เนื่องจากบริเวณค่ายเนินวงอยู่ในที่สูง ห่างไกลแหล่งน้ำจืดที่ใช้ดื่มกิน
สำหรับวัดโยธานิมิต รัชกาลที่ 3 โปรดเกล้าฯ ให้สมเด็จเจ้าพระยาบรมมหาประยูรวงศ์ (ดิศ บุนนาค) ครั้งดำรงตำแหน่งเจ้าพระยาพระคลัง สร้างขึ้นเมื่อ พ.ศ. 2377 พร้อมๆ กับสร้างเมืองใหม่ด้านหลังโบสถ์ มีเจดีย์ทรงลังกา และโบสถ์นั้นแม้ว่าภายนอกจะเป็นของใหม่ที่สร้างสวมของเดิม แต่ภายในยังเป็นของเก่า ผนังส่วนบนประดับด้วยชามสังคโลกและเครื่องลายคราม
วัดวาอาราม ป้อมกำแพงดินพร้อมด้วยปืนใหญ่ ยังเหลือพอให้เห็นเป็นหลักฐานได้ในปัจจุบัน ยิ่งไปกว่านั้น บริเวณค่ายเนินวงยังใช้เป็นที่ตั้งของโครงการโบราณคดีใต้น้ำ ของกรมศิลปากร จัดแสดงโบราณวัตถุที่งมขึ้นมาได้จากการกู้เรือสินค้าที่อับปางในบริเวณน่านน้ำเมืองจันทบุรีและอ่าวไทยทั้งหมด ทำให้เราได้ทราบว่า เมื่อครั้งก่อน จันทบุรีและเมืองท่าอื่นๆ ของไทยนั้นมีการเดินเรือเชื่อมโยงติดต่อกันอย่างไร ทำมาค้าขายอะไรกัน หรือแม้กระทั่งเครื่องปั้นดินเผาต่างๆ ที่เป็นเครื่องใช้และเป็นสินค้าในครั้งนั้นมีรูปแบบอย่างไรบ้าง
ค่ายเนินวงตั้งอยู่ที่ตำบลบางกะจะ อำเภอเมือง เดินทางไปตามถนนท่าแฉลบประมาณ 6 กิโลเมตร และแยกขวาทางไปอำเภอท่าใหม่อีกประมาณ 1 กิโลเมตรก็จะถึงค่ายเนินวง