Старейшая в Шотландии бесплатная публичная библиотека, библиотека и школа в Иннерпеффрее были основаны Дэвидом Драммондом, 3-м лордом Мадерти около 1680 года.
Мадерти был членом семьи Драммонд, одной из самых важных землевладельческих семей в этом районе, другом и зятем Джеймса Грэма, первого маркиза Монтроуза. Первоначальная библиотека находилась «частично в западной части часовни Иннерпеффрай и частично в том маленьком новом доме», который построил Мадерти. Предоставление книг простым людям бесплатно было беспрецедентным. Мадерти пожелал, чтобы библиотека и школа принесли пользу сообществу «в будущем», и, оставив им в наследство 5000 шотландских мерков, возложил ответственность на своих преемников.
В 1739 году Роберт Хэй Драммонд унаследовал поместье Иннерпеффрей, а вместе с ним и ответственность за библиотеку и школу. Драммонд собрал средства и поручил архитектору Чарльзу Фриберну спроектировать и построить новое здание библиотеки, непосредственно примыкающее к часовне. В этом красивом георгианском здании до сих пор находится библиотека.