Trước đây, thôn Phúc Lập ngoài và Phúc Lập trong cùng thuộc làng Phúc Lập. Làng Phúc Lập khi đó có 01 đình và 01 miếu . Theo lời truyền của các cụ cao niên thì miếu, đình Phúc Lập có lịch sử xây dựng từ năm Chính Hoà thứ 5- 1684, đình và miếu thờ hai vị Thành Hoàng là Thánh Ông và Thánh Bà.
Trong thời kỳ kháng chiến chống Mỹ miếu, đình Phúc Lập đã bị phá huỷ hoàn toàn. Năm 1993 do thay đổi đơn vị hành chính, thôn Phúc Lập được tách thành 2 thôn (Phúc Lập ngoài và Phúc Lập trong). Lúc này nhân dân thôn Phúc Lập ngoài đã khôi phục lại việc thờ tự, phục hồi lại đình lấy tên là đình Phúc Lập Ngoài. Nhân dân thôn Phúc Lập trong cũng lập đình để làm nơi thờ tự, sinh hoạt tín ngưỡng và lấy tên là đình Phúc Lập trong. Năm 2008, chính quyền và nhân dân địa phương đã đóng góp tiền của, công sức để phục dựng lại ngôi đình Phúc Lập ngoài khang trang như ngày nay. Đình Phúc Lập ngoài được UBND tỉnh Vĩnh Phúc cấp Bằng xếp hạng di tích cấp Tỉnh năm 2012.
Đình Phúc Lập ngoài có mặt bằng kiến trúc kiểu chữ “Nhị”, quy mô gồm 02 toà đại bái và hậu cung với tổng diện tích sử dụng 118m2, Đình gồm 25 cột chịu lực bằng bê tông chắc khoẻ. Nối giữa đại đình và hậu cung là một khoảng sân nhỏ và 02 dãy nhà tả, hữu mạc có diện tích 13m2. Nền đình lát ngạch bát đỏ, mái lợp ngói mũi, cửa hậu cung đình làm bằng gỗ kiểu bức bàn, các góc mái đình có đắp đầu đao hình rồng, trên bờ nóc đắp hình “lưỡng long chầu nguyệt” tạo nên dáng vẻ của một ngôi đình làng truyền thống.
Đình Phúc Lập ngoài Thờ hai vị Thành Hoàng là: Ông Cao Biền được suy tôn là Thánh Ông và bà Triệu Thị Loan được suy tôn là Thánh Bà. Lịch sử hành trạng của các vị thành hoàng được thờ ở đình Phúc Lập ngoài có thể tóm tắt như sau: Thời thuộc Đường, nước ta được gọi là An Nam Đô Hộ Phủ. Đời vua Đường Ý Tông, niên hiệu Hàm Thông (860-874), nhà Đường sai Kiêu vệ tướng quân Cao Biền làm Đô hộ Tổng quản kinh lược chiêu thảo sứ. Sau khi nhậm chức, Cao Biền đã tập hợp binh mã, dẫn quân tiến đánh quân Nam Chiếu (tức quân nước Ai Lao) và nhiều lần chiến thắng. Ngày 16 tháng 11, vua Đường phong sắc cho Cao Biền là Tiết độ sứ kiêm Chiêu thảo sứ các đạo, giao cai quản, làm Đô hộ phủ, chủ trị Đại La. Cao Biền đã chỉ huy binh sĩ và nhân dân đắp lại thành Đại La bên bờ sông Tô Lịch. Sau khi đánh giặc và đắp lại thành Đại La, Cao Biền cử xa giá tuần du, ngắm nhìn cảnh sắc, xem xét phong tục nước Nam. Trên đường tuần du, khi qua địa phận tổng Tuân Lộ, nhận thấy nơi đây đất đai bằng phẳng phì nhiêu, phong tục nhân dân thuần hậu, Cao Biền đã cho xây dựng một hành cung làm nơi dừng giá ở tại đất này.
Lại nói, thời bấy giờ, tại châu Chu Diên có một gia đình Bộ trưởng họ Triệu, tên huý là Đế (vốn là hậu duệ của Triệu Việt Vương), lấy vợ họ Lã tên huý là Hoà. Triệu Đế nối đời là Bộ trưởng tại đất Chu Diên. Bấy giờ, vua Lý Phật Tử chiếm ngôi của Triệu Việt Vương. Triệu Đế đã đưa vợ con đến ở tại đất Hoan Châu, trải qua 3 đời ngụ cư tại đây nhưng vẫn giữ được nền nếp gia phong, lấy chữa bệnh cứu người làm nghiệp sống, phân phát của cải cho nhân dân, dần dần được nhân dân trong vùng yêu mến, cảm phục. Đến đời cháu là Triệu Công Toàn, có vợ là Dương Thị Nguyệt, khi ấy ông Toàn tuổi ngoại lục tuần, bà Nguyệt đã 42 tuổi. Một hôm bà nằm mộng thấy mình nhập vào lâu đài của vua Triệu, được hoàng hậu ban cho một chiếc trâm vàng. Từ đó bà Nguyệt mang thai, đến kỳ sinh nở nhằm giờ Ngọ, ngày 4, tháng Giêng, năm Mậu Dần bà hạ sinh được một người con gái, dung nhan đẹp đẽ, môi hồng, mắt phượng. Năm lên 3 tuổi, được cha mẹ đặt tên là Loan.
Một hôm, có thầy tướng số đến xem diện mạo của con gái ông Toàn, thầy tướng số nói: "Con gái của ông bà không phải là người thường, không phải là tiên bồng giáng thế, mà là đế nữ sinh ra ở đời, sau này tất sẽ kết duyên với bậc quân vương". Thầy tướng số nhân đó đặt tên cho con gái ông Toàn là Đế, nói rồi đi ra ngoài cửa biến mất. Nghĩ là điềm thần báo, từ đó ông bà gọi tên con là Đế Nương. Năm lên 7 tuổi, Đế Nương được cha mẹ cho đi học ở nhà tiên sinh họ Lã. Trải qua 3 năm học, Đế Nương đã thể hiện rõ sự thông minh tài tử, hễ nói là thành văn chương. Năm Đế Nương lên 12 tuổi, ông Toàn qua đời. Thời bấy giờ, binh biến xảy ra, hai mẹ con Đế Nương không biết nhờ cậy vào ai đành đến cư trú tại xã Phù Ninh, huyện Phong Châu, phủ Tam Đái, trấn Sơn Tây. Tại nơi trú ngụ, tuy là phận khách nhưng mẹ con bà vẫn giữ gìn cốt cách, nề nếp gia phong. Hai mẹ con lấy nghề buôn gà làm kế sinh nhai, về sau mà trở nên giàu có được mọi người yêu quý. Hai mẹ con còn mở quán nước ven đường ngầm tìm kiếm những anh tài hào kiệt, tập hợp nhiều người giỏi sung làm gia thần thủ túc.
Lại nói, lúc bấy giờ, Cao Biền trên đường tuần du, biết Đế Nương là người có dung nhan đẹp đẽ, cốt cách hơn người, bèn sai người làm mối đưa lễ đến dạm hỏi. Lễ kết duyên của Đế Nương và Cao Biền được tổ chức nhằm ngày 25 tháng 8, sau đó cử xa giá về La Thành, Đế Nương được lập làm phu nhân thứ hai. Khi ở La Thành, Đế Nương vẫn thường xuyên về thăm dân làng. Bà còn truyền cho dân làng dựng một hành cung ở đây, rồi thường ban phát của cải, lương thực cho dân nghèo để cho xóm làng được khang trang, no đủ. Thời gian trôi qua, sau 3 năm kết duyên cùng Đế Nương, Cao Biền nhận được chiếu của vua Đường triệu hồi về nước để giữ chức Tiết độ sứ ở Thiên Bình. Cao Biền và Đế Nương lưu luyến chia tay, ông uỷ thác cho Tăng Cổn ở lại nắm quyền cai trị nước Nam. Đế Nương trở về quê cũ tu tạo lại cung sở cùng dân làng vui cảnh đồng quê.
Trải qua hơn 10 năm, Cao Biền mãn nhiệm ở Thiên Bình, lại được bổ nhiệm làm Tiết độ sứ ở Tây Xuyên. Giặc Ai Lao nhân việc đó bèn cử binh tiến đánh An Nam. Tăng Cổn cho quân xuất chiến nhưng thua trận. Thế nước lâm nguy, Đế Nương liền chiêu mộ nghĩa binh được hơn 1.000 người, tất cả cùng hội họp tại Phong Châu làm lễ cáo tế trời đất cùng bách thần âm phù đánh giặc. Đế Nương buộc tóc, lưng thắt khăn hồng, tay cầm kiếm, cưỡi trên ngựa trắng tiến đánh quân Ai Lao. Sau hơn 10 trận đánh, quân giặc mới biết bà là phận nữ nên hô quân tiếp viện quyết bắt sống bà. Trước thế giặc mạnh, Đế Nương cho lui quân về Hoan Châu, lưu binh tại đó. Giặc Ai Lao quyết tâm vây hãm, truy đuổi, bỗng nhiên gió nổi ào ào, mưa rơi xối xả, trời đất tối tăm, do vậy mà Đế Nương phá được vòng vây thoát ra ngoài, bà chạy về khu làng thuộc địa phận xã Tuân Chính ngày nay và trú binh tại đó. Được một ngày, quân giặc lại đến. Tỳ tướng của Đế Nương là Xuân Hoa (Thanh Xuân) bị bắt và đã tự vẫn. Đế Nương giả hàng để an táng cho Xuân Hoa rồi đợi đến đêm, hai tay hai kiếm phá vòng vây chạy thẳng đến bến sông Chiểu Ứng (nay thuộc làng Phù Chính, xã Tuân Chính). Quân giặc đuổi theo, Đế Nương đánh rơi chiếc khăn hồng bèn quay mặt lại, quân giặc nắm một đầu khăn, Đế Nương nắm đầu kia, giằng co một hồi bà giật được khăn, ngoái đầu lại mà mắng chúng: “Lũ giặc hung tàn, tanh hôi nhơ nhớp, sao dám cầm vào khăn của ta, ta đâu có chịu bị ô uế”. Nói rồi, bà nhảy xuống sông tự vẫn.
Người đời sau có thơ rằng:
Nam nhi tử trận ấy chuyện thường
Nữ tiết như nàng tỏ ngàn phương
Tang hải biến dời muôn vật đổi
Vãng lai đọng lại một tình thương
Sau khi Đế Nương qua đời, nhân dân làng Phúc Lập cũng như nhân dân các làng trong vùng đều lập đền, miếu thờ phụng bà. Về sau khi dựng đình thì rước long ngai bài vị của Đế Nương và phu quân bà là Cao Biền về đình để thờ. Thời Đinh, Đinh Bộ Lĩnh dẹp loạn 12 sứ quân, biết sự linh ứng, đã làm lễ cầu đảo, quả nhiên qua một trận đã dẹp xong loạn, thống nhất non sông về một mối. Đinh Bộ Lĩnh lên ngôi, lấy hiệu là Đinh Tiên Hoàng, ngài ban thưởng công trạng cho các tướng sĩ, gia phong mỹ tự cho bách thần có công âm phù dẹp giặc. Đế Nương và Cao Biền cũng được ban phong.
Để ghi nhớ công ơn của Đế Nương Triệu Thị Loan, Nhà nước phong kiến đã ban những sắc phong cho Thánh ông và Thánh bà: Thời nhà Đinh, Vua Đinh Tiên Hoàng đã ban thưởng công trạng cho các tướng sỹ, gia phong mỹ tự cho bách thần có công âm phù dẹp giặc. Đế Nương và Cao Biền được phong là “Khả Lã Đế Nương Đế Phi Đệ nhị vị”. Đến thời Lê, Nguyễn triều đình đều ban sắc phong thần và chuẩn cho nhân dân Phúc Lập phụng thờ các vị thành hoàng (lễ hội khai xuân ngày 15 tháng Giêng hàng năm). Các sắc phong ấy nay không còn lưu giữ được tại đình (hiện nay còn lưu giữ sắc phong tại Viện Nghiên cứu Hán nôm Việt Nam), theo bản kê năm 1938 thì có 08 đạo sắc phong cho Thánh Cao Biền (vào các năm 1740, 1783, 1793, 1821, 1844, 1850, 1909, 1924); 11 đạo sắc phong cho Thánh Đế Nương (vào các năm 1684, 1710, 1730, 1767, 1792, 1844, 1857, 1880, 1887, 1909, 1924).
Hiện nay, hàng năm tại đình có tổ chức các ngày lễ tiệc sau: Ngày 15 tháng Giêng: Khai xuân; Ngày 20 tháng 11 tiệc bánh Dầy. Trong đó ngày 15 tháng Giêng được tổ chức long trọng với quy mô lớn bao gồm các hình thức rước thánh, tế thánh, trò chơi dân gian, văn nghệ dân gian.
Ngày nay, không chỉ có đình Phúc Lập ngoài mà còn có đình Táo, đình Tuân Lộ, miếu Tuân Lộ, đình Đông, đình Phù Chính (xã Tuân Chính) và nhiều địa phương khác trên đất nước Việt Nam cũng lập Đình, Đền, Miếu thờ Cao Biền và Đế Nương...
ST