ความเป็นมาของเกาะหมากเกี่ยวโยงกับเหตุการณ์สำคัญในประวัติศาสตร์ไทย ในยุคล่าอาณานิคมเมื่อปี พ.ศ. 2436 ตรงกับรัชสมัยพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว (รัชกาลที่ 5) ฝรั่งเศสได้เข้ายึดเมืองจันทบุรี และเมืองต่างๆ ทางฝั่งซ้ายของแม่น้ำโขง ทำให้ไทยจำต้องยกดินแดนจังหวัดตราดและเกาะต่างๆ รวมทั้งเกาะหมาก เกาะกูด และเกาะกงให้แก่ฝรั่งเศส แลกกับการให้ฝรั่งเศสถอนทหารออกจากจันทบุรี เมื่อปี 2447
กระทั่งในปี 2449 รัชกาลที่ 5 ทรงตัดสินพระทัยยอมยกดินแดนพระตะบอง เสียมราฐ และศรีโสภณให้กับฝรั่งเศส เพื่อแลกเอาจังหวัดตราดและหมู่เกาะต่างๆ รวมทั้งเกาะหมาก กลับคืนมาเป็นของไทย
หากสืบสาวรากเหง้าของคนเกาะหมาก ซึ่งประกอบด้วยห้าตระกูลใหญ่ที่ครอบครองที่ดินบนเกาะแทบทั้งหมด คือ ตะเวทีกุล, วงษ์ศิริ, สุทธิธนกูล, จันทสูตร และ สุขสถิตย์ จะพบว่าพวกเขาล้วนแต่เกี่ยวดองเป็นญาติพี่น้องกันทั้งสิ้น
บุคคลที่มีความสำคัญยิ่งในหน้าประวัติศาสตร์ของเกาะหมาก คือ หลวงพรหมภักดี ผู้เป็นต้นตระกูลตะเวทีกูล ในสมัยรัชกาลที่ ๕ ท่านได้รับพระราชทานตำแหน่งเป็นปลัดฝ่ายจีน ทำหน้าที่ควบคุมคนจีนและเก็บส่วยอากรอยู่ที่จังหวัดประจันตคีรีเขตร์ (ปัจจุบันคือเกาะกง ประเทศกัมพูชา)
กระทั่งฝรั่งเศสเข้ามาครอบครองจังหวัดประจันตคีรีเขตร์เมื่อปี 2447 ต่อมาหลวงพรหมภักดีจึงอพยพครอบครัวและบริวารจากหมู่บ้านเกาะปอ โดยสารเรือสำเภาลำใหญ่ข้ามทะเลมาสู่เกาะหมาก และซื้อเกาะจากผู้ครอบครองเดิมที่มาบุกเบิกทำสวนมะพร้าวอยู่ก่อนแล้ว คือ เจ้าสัวเส็ง ปลัดฝ่ายจีนอีกท่านหนึ่งที่ดูแลการเก็บส่วยที่เกาะช้าง
หลวงพรหมภักดีและภรรยาคือนางมู่ลี่มีลูกด้วยกัน 11 คน ลูกสาวคนหนึ่งชื่อนางเต๋ ได้แต่งงานกับขุนวงษ์ศิริรักษ์ กลายเป็นต้นตระกูลวงษ์ศิริ ต่อมาลูกสาวคนหนึ่งของทั้งคู่คือนางสงวนได้แต่งงานกับก๋งฝั่ง กลายเป็นต้นตระกูลสุทธิธนกูล
ส่วนอีกสองตระกูลใหญ่นั้น ตระกูลจันทสูตรสืบเชื้อสายมาจากหลวงนราพิทักษ์จีนจร (ยวด จันทสูตร) กับ นางห้อง จันทสูตร และตระกูลสุขสถิตย์สืบเชื้อสายมาจากปู่เจื๋อง และย่าสำอางค์
ด้วยเหตุที่ทั้งห้าตระกูลมีความสัมพันธ์เป็นญาติพี่น้องและรักใคร่กลมเกลียวกันมาหลายชั่วอายุคน ทุกวันนี้เกาะหมากจึงมีความสงบสุข คนบนเกาะล้วนคิดเห็นตรงกันว่าอยากรักษาสภาพแวดล้อมให้คงสภาพธรรมชาติอันบริสุทธิ์และเงียบสงบ ไม่อยากให้ชุมชนของพวกเขาวุ่นวายจากสถานบันเทิงที่เต็มไปด้วยแสง สี เสียง จึงกลายเป็นแนวคิดที่มุ่งพัฒนาเกาะหมากให้กลายเป็นแหล่งท่องเที่ยวเชิงอนุรักษ์ที่ยั่งยืน (Sustainable Tourism)