Tương truyền từ hơn 300 năm về trước, khi tiền nhân mở đất An Giang, ở vùng đất Thất Sơn này còn là miền hoang vu, cô tịch. Tuy phum sóc còn thưa thớt, nhưng đồng bào Khmer đã sớm chọn nơi đây để xây chùa thờ Phật.
Thuở ấy, quanh chùa là rừng rậm nguyên sinh, từng đàn khỉ hàng trăm con chuyền cành trên những ngọn cây cổ thụ. Mỗi khi thấy bóng người xuất hiện, chúng hú nhau tràn xuống nắm kéo người qua lại. Có lẽ vì thế mà khi chùa được dựng lên, đồng bào đã lấy “Xvayton” để đặt tên cho ngôi tự viện này. Theo các bô lão, trong tiếng Khmer, chữ “xvay” có nghĩa là khỉ, còn “ton” là lôi kéo. Về sau, bà con địa phương thường đọc trại ra thành Xà Tón.
Theo ghi chép của nhà chùa, chùa Xà Tón được xây dựng vào cuối thế kỷ XVII. Ban đầu, chùa được dựng bằng gỗ, lợp lá, nền đất. Đến năm 1896, chùa được xây dựng kiên cố và đến nay đã tu bổ nhiều lần.
Quần thể kiến trúc chùa Xà Tón được xây dựng theo phong cách kiến trúc chùa tháp Khmer Nam bộ . Bố cục kiến trúc thống nhất với nhiều hạng mục; cổng chùa, chánh điện, sala (tháp cốt), trai đường, tăng xả, liêu, phòng học, thư viện, nhà bếp, ao nước, vườn cây…
Cổng chính của chùa được xây theo kiểu tam quan, bao gồm cổng phụ. Chánh điện nằm tại trung tâm, trên nền cao nổi bật, hướng về phía mặt trời mọc.
Trụ trì chùa Xà Tón Chau Sóc Khon chia sẻ: để xây tường cho chánh điện chùa, người xưa không dùng xi măng, mà dùng một loại vữa đặc biệt làm từ cát, đường thốt nốt, trộn với một số loại cây rừng.
Nóc chánh điện nhọn, vươn thẳng lên trời. Hai mái vút cong cách điệu tượng trưng cho hình ảnh rắn thần Naga, một linh vật bất tử và dũng mãnh hộ trì phật pháp trong huyền thoại. Mái chánh điện được xây dựng theo cấu trúc tam cấp, lợp ngói men sặc sỡ các màu đỏ, xanh, vàng.
Xung quanh chánh điện là các tháp sala, nơi để tro cốt của các sư cả đã viên tịch. Tháp sala có hình trụ tròn như các đài sen lớn xếp chồng lên nhau và vút cao dần về hướng thượng tầng. Trên đỉnh tháp cao là hình tượng thần bốn mặt Bayon. Trong kiến trúc chùa tháp Khmer, thần Bayon (Tứ đại thiên hoàng) là chúa tể cai quản thiên giới, thường được biết đến với tên gọi Brahma - thần sáng tạo trong truyền thống Hindu giáo.
Trong chánh điện có thờ tượng Phật Thích Ca rất lớn. Trên các vách tường là các bức bích họa nhiều màu sắc với đường nét độc đáo, tinh xảo. Nội dung bích họa là những câu chuyện kể về cuộc đời Đức Phật Thích Ca, các ngụ ngôn đạo đức Jataka (truyện tiền thân) và những huyền tích Phật giáo. Các trụ đỡ của chánh điện và trần nhà chạm khắc hình ảnh chim muông, hoa lá.
Không chỉ có giá trị độc đáo về kiến trúc, chùa Xà Tón còn là trung tâm tôn giáo, tín ngưỡng của bà con Khmer huyện Tri Tôn. Theo sư Chau Sóc Khon, hằng năm chùa thường diễn ra các lễ nghi tôn giáo như Tết Chôl Chnăm Thmây, lễ Phật đản, lễ Dâng y (áo cà sa), lễ An vị tượng Phật, lễ Nhập hạ, lễ cúng trăng... thu hút đông đảo người dân và du khách đến chùa cầu phước và hồi hướng cho người đã khuất.
Theo cư sĩ Chau Chum, từ trước đến nay, chùa luôn là điểm tựa tinh thần của bà con trong vùng. Rất đông phật tử và Nhân dân đến lễ Phật, gửi gắm tâm tư nguyện vọng. Nhiều hộ dân trong vùng còn đến để xin lời chỉ bảo của nhà sư khi gặp khó khăn trong cuộc sống, hoặc gửi gắm con em vào chùa tu học.
Chùa Xà Tón đã được Bộ Văn hóa Thể thao và Du lịch công nhận là di tích kiến trúc nghệ thuật cấp Quốc gia năm 1989. Vào năm 2006, Trung tâm sách kỷ lục Việt Nam đã xác lập chùa Xà Tón là ngôi chùa lưu giữ nhiều nhất về sách kinh viết trên lá buông có tại Việt Nam.