กุฏิวัดเทพธิดารามที่สุนทรภู่บวชจำพรรษา เป็นสถานที่ค้นพบวรรณกรรมที่ทรงคุณค่ามากมายเช่น พระอภัยมณี ฯลฯ ที่ท่านเก็บซ่อนไว้ใต้เพดานหลังคากุฏิของท่าน

สุนทรภู่รับราชการอยู่เพียง 8 ปี เมื่อถึงปี พ.ศ. 2367 พระบาทสมเด็จพระพุทธเลิศหล้านภาลัยเสด็จสวรรคต หลังจากนั้นสุนทรภู่ก็ออกบวช แต่จะได้ลาออกจากราชการก่อนออกบวชหรือไม่ยังไม่ปรากฏแน่ชัด แม้จะไม่ปรากฏโดยตรงว่าสุนทรภู่ได้รับพระบรมราชูปถัมภ์จากราชสำนักใหม่ในพระบาทสมเด็จพระนั่งเกล้าเจ้าอยู่หัวแต่ก็ได้รับพระอุปถัมภ์จากพระบรมวงศานุวงศ์พระองค์อื่นอยู่เสมอ เช่น ปี พ.ศ. 2372 สุนทรภู่ได้เป็นพระอาจารย์ถวายอักษรเจ้าฟ้ากลางและเจ้าฟ้าปิ๋ว พระโอรสในเจ้าฟ้ากุณฑลทิพยวดี ปรากฏความอยู่ใน เพลงยาวถวายโอวาท นอกจากนั้นยังได้อยู่ในพระอุปถัมภ์ของพระองค์เจ้าลักขณานุคุณ และกรมหมื่นอัปสรสุดาเทพ ซึ่งปรากฏเนื้อความในงานเขียนของสุนทรภู่บางเรื่องว่า สุนทรภู่แต่งเรื่อง พระอภัยมณี และ สิงหไตรภพ ถวาย

สุนทรภู่บวชอยู่เป็นเวลา 18 ปี ระหว่างนั้นได้ย้ายไปอยู่วัดต่างๆ หลายแห่ง เท่าที่พบระบุในงานเขียนของท่านได้แก่ วัดเลียบ วัดแจ้ง วัดโพธิ์ วัดมหาธาตุและวัดเทพธิดาราม งานเขียนบางชิ้นสื่อให้ทราบว่า ในบางปี ภิกษุภู่เคยต้องเร่ร่อนไม่มีที่จำพรรษาบ้างเหมือนกัน ผลจากการที่ภิกษุภู่เดินทางธุดงค์ไปที่ต่างๆ ทั่วประเทศ ปรากฏผลงานเป็นนิราศเรื่องต่างๆ มากมาย และเชื่อว่าน่าจะยังมีนิราศที่ค้นไม่พบอีกเป็นจำนวนมาก

งานเขียนชิ้นสุดท้ายที่ภิกษุภู่แต่งไว้ก่อนลาสิกขาบท คือ รำพันพิลาป โดยแต่งขณะจำพรรษาอยู่ที่วัดเทพธิดาราม พ.ศ. 2385