บ้านท่าข้ามควาย ในอดีตไม่มีถนนเป็นเส้นทางคมนาคม อาศัยทางเรือเป็นหลักในการสัญจรไปมา ประมาณ 60 ปีที่ผ่านมา ราชการยกฐานะบ้านท่าข้ามควายขึ้นเป็นหมู่บ้าน และแต่งตั้งนายเฉลิมชัย เก้าเอี้ยน เป็นผู้ใหญ่บ้าน ในอดีตหมู่บ้านที่อยู่ใกล้เคียงบ้านท่าข้ามควาย มีการเลี้ยงควายกันจำนวนมากเพื่อไว้ใช้แรงงานและส่งออกไปขายยังอำเภอใกล้เคียง โดยลำเลียงควายออกทางท่าเรือกงษีล่องน้ำออกทางทะเล ซึ่งเป็นส่วนหนึ่งของทะเลอันดามัน และเป็นที่มาของการตั้งชื่อหมู่บ้านว่า “บ้านท่าข้ามควาย” ปัจจุบันชื่อของท่าเรือกงษีนี้ยังคงมีอยู่ กิจกรรมที่น่าสนใจ ได้แแก่ ชมสันหลังมังกร ,เที่ยวหาดไม้ขาว ,ชมหอสี่หลัง และปูกองทัพ ,ล่องเรือชมนกเหยี่ยว และพิพิธภัณฑ์ของโบราณ