ชาวเกาะยอรู้จักการทอผ้ามาแล้วนับร้อย ๆ ปี ตั้งแต่ครั้งที่มีคนอพยพมาในระยะแรกตั้งถิ่นฐานอยู่บนเกาะ ซึ่งส่วนใหญ่มีเชื้อสายจีน เมื่อปี พ.ศ.2482 กรมการเมืองสงขลาได้ขอครูสอนทอผ้าชื่อ นายยี่สุ่นและนายพุดดิ้น ซึ่งเป็นครูสอนทอผ้าจากเซี่ยงไฮ้ ให้มาสอนการทอผ้าให้ชาวเกาะยอที่วัดแหลมพ้อ ได้สอนวิธีทอผ้าด้วยกี่กระตุก ต่อมาชาวบ้านได้เปลี่ยนการย้อมสีจากเดิมเป็นซื้อสีจากที่ตลาดมาย้อม ทำให้ได้คุณภาพไม่ดี ขายแข่งกับตลาดภายนอกไม่ได้ จึงทำให้ผ้าทอเกาะยอถูกลืมไปกว่า 30 ปี จนกระทั่งเมื่อปี 2516 คุณหญิงชื่นจิตต์ สุขุม นายกสมาคมสตร