(Theo sách Đại Nam nhất thống chí và sách Việt Nam dư địa chí: Chùa Sùng Phúc thuộc tổng Lệnh Cấm nay là xã Thanh Nhật huyện Hạ Lang tỉnh Cao Bằng. Hội Chùa hàng năm mở vào ngày Rằm tháng giêng thu hút đông đảo khách thập phương trẩy hội cầu may. Đây là lễ hội lớn nhất trong năm của huyện.
Chùa Sùng Phúc được xây dựng từ thời vua Trần Nhân Tông thế kỷ XIII, ban đầu có tên là Sùng Khánh tự, thờ Phật và thờ các nhân vật có công trấn ải vùng biên giới. Năm Cảnh Hưng thứ 43, thời nhà Lê, chùa được trùng tu và đổi tên là chùa Sùng Phúc, chùa thờ Đức Phật Quan Âm Bồ Tát ở hậu cung có tượng Phật Bà. Bên trái thờ vị Thành Hoàng, người có công chiêu dân khẩn hoang lập bản làng- ông Nguyễn Thành Vương tức Nguyễn Đình Bá (1678) tri châu Tư Lang, ông quê ở thôn Bình Dân, phủ Khoái Châu tỉnh Hưng Yên, sau làm Đốc đồng ở Cao Bằng.
Chùa Sùng Phúc còn thờ vi đồ là bà Nguyễn Thị Duệ, người làng Kiệt Đặc, nay thuộc xã Văn An, huyện Chí Linh, Hải Dương. Bà theo cha lên Cao Bằng thời vua Mạc Kính Cung. Năm 20 tuổi, bà cải trang là nam thi đỗ tiến sĩ đầu bảng ở trường quốc học Bản Thảnh Cao Bằng. Khi thi đỗ bà được mời về ly cung Đống Lân để dạy học cho hoàng tử, công chúa. Vua Mạc lấy bà làm vợ và đặt tên là Tinh Phi (Sao sa). Năm 1625 nhà Lê cử tướng Trịnh Kiền lên Cao Bằng bắt được vua Mạc Kính Cung đem về Thăng Long trị tội. Bà Duệ chạy về Hạ Lang đi tu ở chùa Sùng Phúc. Bà tài cao học rộng mở lớp dạy học, giảng về giáo lý nhà phật. Bà được quan châu Nguyễn Đình Bá mến mộ, truyền cho nhân dân ngoài vùng “Lệnh Cấm” không cho ai được lai vãng đến chùa để che dấu tung tích bà đang bị nhà Lê truy tìm. Nhưng, nhà Lê biết tin bà Duệ ở Hạ Lang đã đón bà về Thăng Long. Sau, người dân tưởng nhớ người thầy nghèo Nguyễn Thị Duệ, đưa bài vị vào Chùa để thờ. Chùa được xếp hạng di tích lịch sử văn hóa cấp quốc gia ngày 29/1/1993
Lễ hội chùa ngày nay không còn như dù vậy ban tổ chức vẫn cố gắng giữ gìn bản sắc văn hóa, tín ngưỡng tôn giáo của người xưa. Lễ hội có tổ chức rước kiệu Quan Âm Bồ Tát, kiệu Thành Hoàng, khôi phục các trò chơi dân gian, làn điệu dân ca dân tộc, công tác tổ chức lễ hội ngày càng chu đáo hơn nên lễ hội diễn ra an toàn, lành mạnh, đáp ứng nhu cầu trẩy hội đầu xuân của du khách thập phương.
ST