Năm 1793, Thiền sư Pháp Chuyên (Diệu Nghiêm) đến đây dựng cất một thảo am dịch kinh Hoa Nghiêm. Bốn năm sau, ngài kiến tạo một ngôi chùa lá mái đồ sộ. Năm 1889, chùa được vua Thành Thái ban sắc tứ. Năm 1929, chùa bị hỏa hoạn, chùa mở cuộc lạc quyên khắp nơi để đại trùng tu.

Đặc sản ở Chùa Đá Trắng (Chùa Từ Quang)

Xoài Đá Trắng trong khuôn viên chùa khi chín màu vàng tươi, ngọt thơm dịu nhẹ. Thời Nguyễn đây là vật phẩm tiến vua. Mỗi năm vào tết Đoan Ngọ tỉnh Phú Yên phải dâng vua từ 1000 đến 2000 quả xoài.

Chùa được xây trên độ cao khoảng 100m, mặt nhìn ra sông cái ( cửa Tiền Châu) vùng đất này từng là thủ phủ của tỉnh Phú Yên đầu thế kỷ 17. Chùa nằm bên sườn núi Đá Trắng thuộc xạ An Dân, huyện Tuy An, cách thành phố Tuy Hòa 35 km về phía Bắc, cách quốc lộ 1A chừng 500m

Cảnh trí của chùa rất đặc sắc, xung quanh là núi cao và rừng rậm âm u, phía dưới là dòng sông lớn. Con đường thiên lý Bắc - Nam chạy ngang giữa cảnh núi, sông này. Khí thiêng sông núi tụ hội, chùa Từ Quang trở thành căn cứ của nhiều cuộc khởi nghĩa, là điểm tụ hội của văn thân yêu nước. Những năm 1885 - 1887, vua Hàm Nghi xuống chiếu Cần Vương kêu gọi sĩ phu yêu nước cùng mưu việc lớn. Tại Phú Yên, phong trào này do Lê Thành Phương lãnh đạo, các nhà sư của Bạch thạch Từ Quang tự cũng tham gia. Chùa trở thành pháo đài cho đạo quân của phó tướng Bùi Giảng ngăn chặn quân Pháp đổ bộ từ cửa biển Tiên Châu vào.