La bibliothèque était très élégante pour l'époque et reste aujourd'hui un bâtiment historique d'une beauté saisissante. Structurellement, il s'agit d'un bloc de briques rouges de 2½ étages avec un toit mansardé et une tour centrale. Quelques autres caractéristiques importantes : le bâtiment présente des fondations et des appuis de fenêtre en granit ; des lucarnes triangulaires dans la mansarde ; deux entrées arquées proéminentes, subtilement différenciées par les matériaux des voussoirs (une pierre en forme de coin ou effilée utilisée pour construire un arc). Le motif de l'arc se répète au deuxième étage, souligné par un changement prononcé dans le motif de la brique. Un motif de brique ludique se trouve également juste sous la ligne de toit. 

De manière plus générale, le bâtiment présente une façade et un arrière clairs ; il donne au sud sur Knowlton Road. L'élévation est, invisible ici, possède un extraordinaire balcon en bois situé au sommet d'une baie en saillie, également couverte d'une mansarde qui s'avance vers l'est.

Comme beaucoup d'édifices publics victoriens, il est situé bien en vue, est monumental et construit avec de beaux matériaux. Heureusement, nous en savons beaucoup sur les matériaux utilisés pour construire la bibliothèque grâce aux archives de la Société historique du comté de Brome. 

Les détails avec lesquels Story a décrit le projet et obtenu des devis pour la plomberie, le bois, le chauffage et d'autres finitions sont bien documentés. Conformément à l'espoir de Mme Pettes que le bâtiment reste en bon état longtemps après sa construction, Story suggère de finir l'extérieur en brique plutôt qu'en bois. Il est intéressant de noter que Knowlton comptait peu de bâtiments en brique à l'époque. Le pin, l'épinette et le tilleul ont été utilisés pour les portes, les fenêtres, les lambris et d'autres détails du projet, et Story a pris soin d'indiquer exactement dans quel état les matériaux devaient arriver et être finis pour le projet. 

La bibliothèque conçue par Story comprenait un théâtre au niveau du grenier, avec une entrée séparée, dont la scène peinte à la main est encore partiellement intacte. À l'origine, Pettes était donc plus qu'une bibliothèque, mais aussi une salle de spectacle et un mémorial pour la communauté.