วัดกระซ้าขาวนี้ สร้างเมื่อวันศุกร์ที่ 26 มีนาคม พ.ศ. 2486 (ตรงกับวันขึ้น 10 ค่ำ เดือน 4 ปีมะแม) โดยมีนายฮวด หอมทอง ผู้ใหญ่บ้านหมู่ที่ 9 ตำบลบ้านบ่อ และนางหมา หอมทอง ผู้เป็นภรรยา มีความประสงค์ที่จะให้ประชาชนบำเพ็ญกุศลใกล้ เพราะเดิมทีต้องเดินทางไปทำบุญไกลมาก จึงได้มีจิตศรัทธาบริจาคที่ดินจำนวน 76 ไร่ เป็นที่สร้างวัด และร่วมกับราษฎรหมู่บ้านกระซ้าขาวสร้างวัดขึ้น จึงได้นำเอานามสกุลของผู้ใหญ่ฮวด และคำว่าราษฎร มาตั้งเป็นชื่อของวัด จึงได้ชื่อว่า “วัดหอมทองราษฎรบำรุง” ต่อมาภายหลังจึงได้เปลี่ยนมาเป็น “วัดกระซ้าขาว” (หอมทองราษฎร์บำรุง) ในวงเล็บ เมื่อปี พ.ศ. 2498 เพื่อให้เหมาะสมกับชื่อหมู่บ้าน เพราะวัดตั้งอยู่ในเขตหมู่บ้านกระซ้าขาว และที่ตั้งวัดเคยเป็นทะเลมาก่อน จึงมีกระซ้า หมายถึงซากสัตว์จำพวกหอยอยู่เป็นจำนวนมาก