เนื้อหาในเรื่อง พระอภัยมณี นอกจากมีความแปลกใหม่ด้านเค้าโครงเรื่อง แต่ก็มีรายละเอียดปลีกย่อยมากมายที่แสดงให้เห็นถึงภูมิรู้ของผู้ประพันธ์ว่ามีความรู้กว้างขวางและละเอียดลึกซึ้งอย่างยิ่ง นักวิชาการส่วนมากลงความเห็นพ้องกันว่า สุนทรภู่ได้รับแรงบันดาลใจมากมายจากวรรณคดีโบราณทั้งของไทยและของต่างประเทศ สมเด็จฯ กรมพระยาดำรงราชานุภาพ ตรัสว่า "เรื่องพระอภัยมณี สุนทรภู่ตั้งใจแต่งโดยประณีตทั้งตัวเรื่องและถ้อยคำสำนวน ส่วนตัวเรื่องนั้นพยายามตรวจตราหาเรื่องราวที่ปรากฏอยู่ในหนังสือต่างๆ บ้าง เรื่องที่รู้โดยผู้อื่นบอกเล่าบ้าง เอามาตริตรองเลือกคัดประดิษฐ์ติดต่อแต่ง ประกอบกับความคิดของสุนทรภู่เอง" ประจักษ์ ประภาพิทยากร กล่าวว่า "วรรณคดีที่สุนทรภู่อาศัยเค้ามานั้น มีทั้งวรรณคดีจีน ชวา ไทย แขก พร้อมมูล วรรณคดีที่กล่าวมานี้สุนทรภู่ต้องรู้ดีแน่" หรือ สุรีย์ พงศ์อารักษ์ กล่าวถึง พระอภัยมณี ว่า "เนื้อเรื่องส่วนใหญ่แตกต่างจากวรรณคดีไทยแนวจักรๆ วงศ์ๆ ทั่วไป เค้าโครงเรื่องได้มาจากวรรณคดีต่างๆ ของไทยและวรรณคดีต่างประเทศหลายเรื่อง เช่น เรื่องอาหรับราตรี เรื่องไซ่ฮั่น เป็นต้น รวมถึงเค้าเรื่องจากเหตุการณ์ในประวัติศาสตร์ เหตุการณ์ในชีวิตของสุนทรภู่ และจินตนาการที่ผสมผสานผูกร้อยเข้าด้วยกัน" เค้าโครงจากวรรณกรรมต่างประเทศนี้ สมเด็จฯ กรมพระยาดำรงราชานุภาพได้ทรงอธิบายเพิ่มเติมไว้ว่า เค้าเรื่องที่มาจากอาหรับราตรี ของเซอร์ริชาร์ด เบอร์ตัน คือนิทานว่าด้วยเรื่องของกษัตริย์ชาติอิสลามไปตีเมืองซึ่งนางพระยาเป็นคริสตัง เมื่อพบกันในสนามรบก็เกิดรักกัน ทำนองเดียวกับที่พระอภัยมณีพบนางละเวงวัณฬาในสนามรบ ส่วนเค้าโครงที่มาจากไซ่ฮั่น คือส่วนที่ว่าด้วยเพลงปี่ของเตียวเหลียง ผู้วิเศษที่ชำนาญการเป่าปี่แก้วจนอาจสะกดผู้คนได้ ทำนองเดียวกับวิชาปี่ของพระอภัยมณี  นอกจากนี้ยังมีความเห็นจากนักวิชาการอื่นอีกหลายท่านล้วนลงความเห็นไปในทางเดียวกันทั้งสิ้น
          เนื้อหาส่วนใหญ่ของเรื่องเกิดขึ้นในทะเล นับแต่ถ้ำนางผีเสื้อสมุทร เกาะแก้วพิสดาร เมืองรมจักร เมืองการะเวก เมืองผลึก และเมืองลังกา ล้วนไปมาหาสู่กันได้จากทางทะเลเท่านั้น รายละเอียดการเดินทางในทะเลแต่ละครั้งจะมีการบรรยายอย่างละเอียด มีการบรรยายถึงสัตว์น้ำต่างๆ การบรรยายถึงการดูดาว การบรรยายถึงสถานที่ซึ่งอิงกับนิทานปรัมปรา สิ่งต่างๆ เหล่านี้แสดงให้เห็นว่า หากสุนทรภู่มิได้ไปเห็นด้วยตัวเอง ก็ต้องได้อ่านและได้ฟังมาอย่างมากเหลือเกิน จนสามารถกลั่นกรองและคัดเลือกมานำเสนอได้อย่างเหมาะเจาะ