ชาวกะเหรี่ยงกลุ่มนี้แต่เดิมในยุคแรกๆ นับถือความเชื่อตามแบบอย่างบรรพบุรุษที่อพยพมาจากประเทศพม่า ที่นับถือผีประจำสายตระกูลและใช้อ้น ใช้ปลาเซ่นผี แต่เนื่องจากความยุ่งยากในการปฏิบัติตามพิธีกรรม ทำให้ชาวกะเหรี่ยงด้ายเหลืองเกิดความเบื่อหน่ายในลัทธิเดิม ประกอบกับระยะนั้นมีชาวกะเหรี่ยงมาจากประเทศพม่าเป็นฤาษี เดินทางเข้ามาในบริเวณที่ชาวกะเหรี่ยงเหลืองลัทธิเจ้าวัดอยู่ และได้ทราบความรู้สึกดังกล่าวของชาวกะเหรี่ยง จึงได้ร่วมกันเป็นผู้นำในการตัดขาดจากความเชื่อถือเดิมมาถือลัทธิธรรมเนียมใหม่ โดยยึดเอาแม่พระธรณีหรือแผ่นดินเป็นสิ่งศักดิ์สิทธิ์ กะเหรี่ยงด้ายเหลืองจึงมีการปฏิบัติตนตามแบบขนบธรรมเนียมประเพณีที่กำหนดขึ้นและศีล 5 ในพุทธศาสนาเป็นแนวทางปฏิบัติที่สำคัญ โดยมีสัญลักษณ์เป็นตัวแทนของพระแม่ธรณีคือ “เจดีย์” เป็นพยาน และเป็นสถานที่ศักดิ์สิทธิ์อันเป็นที่ตั้งแห่งความเคารพบูชาของชาวกะเหรี่ยงด้ายเหลือง