คำว่า "ทรายขาว" มีเรื่องเล่ากันว่า เดิมมีกองทรายขนาดใหญ่อยู่บนยอดเขาสันกาลาคีรี ซึ่งชาวบ้านได้นำทรายจากยอดเขามาใช้ในการก่อสร้างซึ่งจะต้องขนจากบนลงล่าง สร้างความยากลำบาก จึงได้คิดให้ทรายไหลลงมาเองตามร่องน้ำจึงทำทางน้ำให้ทรายไหลลงมากองที่พื้นที่ราบ ทำให้ชาวบ้านนำทรายบริเวณนั้นไปใช้ได้สะดวก จนชาวบ้านเรียกที่แห่งนี้ว่า "บ้านทรายขาว" และได้ใช้เป็นชื่อตำบลมาจนถึงปัจจุบันนี้