บริเวณที่ตั้งกุฏิฤาษีเป็นจุดสิ้นสุดของถนนโบราณที่มีต้นทางจากเมืองพระนครในเขมร แต่ไม่เหลือร่องรอยถนนไว้ให้เห็นเพราะเป็นที่อยู่อาศัยของชาวบ้าน กุฏิฤาษีเชื่อว่าเป็นอโรคยาศาลสร้างขึ้นช่วงรัชกาลพระเจ้าชัยวรมันที่ 7 ซึ่งเป็นยุครุ่งเรืองแห่งอาณาจักรขอม พระองค์โปรดเกล้าฯ ให้สร้างอโรคยาศาลตามเส้นทางโบราณไว้เป็นจำนวนมาก ปัจจุบันนี้เหลือให้เห็นเพียงซากกำแพงศิลาแลงกับปราสาทเท่านั้น