ชาวญวนเข้ามาตั้งถิ่นฐานในจันทบุรีตั้งแต่สมัยอยุธยาตอนปลาย จากประวัติวัดคาทอลิกจันทบุรีระบุว่าพระสังฆราชซังปิออง เดอ ชิเซ ให้บาทหลวงเฮิ้ตเดินทางมาดูแลคาทอลิกชาวญวนซึ่งอพยพหนีภัยการบีบคั้นทางศาสนาในญวนเข้ามาอยู่ในจันทบุรีหลายสิบปีก่อนที่บาทหลวงเฮิ้ตเดินทางมาถึงในปี พ.ศ.2254 (สมัยพระเจ้าท้ายสระ) พบว่าขณะนั้นจันทบุรีมีคาทอลิกชาวญวนจำนวนประมาณ 130 คน
บาทหลวงเฮิ้ตได้สร้างโบสถ์หลังเล็กๆ ขึ้น ซึ่งต่อมาได้มีการย้ายโบสถ์อีก 5 ครั้ง จนมาตั้งอยู่ในบริเวณปัจจุบัน จากนั้นชุมชนชาวญวนคริสต์ก็ค่อยๆ ขยายตัวขึ้นเรื่อยๆ โดยมีโบสถ์เป็นศูนย์กลางของชุมชนและศูนย์รวมจิตใจ จนกระทั่งชุมชนญวนแถบริมแม่น้ำจันทบุรีไม่สามารถขยายเขตออกไปได้บางส่วนจึงได้แยกไปตั้งถิ่นอื่น เช่นที่อำเภอขลุง อำเภอท่าใหม่ และบ้านท่าแฉลบ