Znajdujący się w południowo – wschodniej części miasta na terenie zamkniętego parku budynek przez kilkaset lat był dworem i siedzibą hrabiego Shrewsbury. Pierwotną siedzibą władców Worksop był zamek w centrum miasta był on jednak zbyt mały i ciasny i już w XIII wieku nie był zamieszkały i popadł w ruinę. W XIV wieku George Talbot, czwarty hrabia Shrewsbury wybudował okazały dwór w swojej posiadłości w Sheffield. W tym samym czasie w dużym parku powstał jego pierwszy dom, który stał się zalążkiem Worksop Manor. Dopiero jednak jego wnuk George Talbot, szósty hrabia Shrewsbury doprowadził do wybudowania w tym miejscu dworu z prawdziwego zdarzenia.
Manor of Worksop został zaprojektowany przez Roberta Smithsona i został wybudowany w 1586 roku. Smithson był sławnym architektem, który zaprojektował wiele posiadłości hrabiowskich w środkowej Anglii w XVI wieku. Manor of Worksop był dużym domem zbudowanym z kamienia, górującym nad wszystkimi zabudowaniami w okolicy. Budynek posiadał ponad pięćset pokoi i był pod tym względem jedną z największych budowli w Anglii. Duże przeszklone okna zapewniały w jego wnętrzu dużo światła.
W 1583 roku na rozkaz królowej Elżbiety I w areszcie domowym przetrzymywana tu była Maria Stuart królowa Szkotów. 5 kwietnia 1603 roku nocował tutaj król Jakub IV Stuart podróżujący do Londynu na koronację gdzie został królem Anglii jako Jakub I.
20 października 1761 roku w wyniku pożaru Worksop Manor spłonął. Na jego zgliszczach Edward Howard, dziewiąty hrabia Norfolk, do którego należała wówczas ta posiadłość wybudował nowy budynek według projektu Jamesa Paine. Zaprojektowany na planie kwadratu miał być największym tego rodzaju obiektem w całej Anglii. Nie został jednak nigdy do końca ukończony a prace przerwano w 1767 roku. Pomimo to przez wiele lat był najokazalszym majątkiem hrabiowskim w okolicy.
W 1839 roku Henryk Karol Howard, dziewiąty hrabia Norfolk postanowił sprzedać Worksop Manor Henrykowi Pelham – Clinton, czwartemu księciu Newcastle rezydującym w pobliskim Clumber Parku za 375 tysięcy funtów. Szybko okazało się, że księciu Newcastle wcale nie zależało na dworze, ale przede wszystkim na poszerzeniu ziem do niego należących. Uznał także, że utrzymanie Worksop Manor jest zbyt kosztowne i nakazał go rozebrać. Część wyposażenia dworu trafiła do posiadłości księcia w Clumber House, reszta została sprzedana. Część gospodarcza domu jednak pozostała (parter północnego skrzydła) i została przebudowana w duży budynek, w którym początkowo mieszkali pracownicy parku. W kolejnych latach dom ten kupił Henry Thomas Foley piąty baron Foley. Zajmował on Worksop Manor przez czternaście lat i w 1891 roku sprzedał posiadłość Sir Johnowi Robinsonowi miejscowemu biznesmenowi, browarnikowi, kupcowi, producentowi cegły i słodu, właścicielowi 600 pubów w Nottinghamshire. Robinson otworzył na terenie Worksop Manor stadninę koni, które stały się sławne w wielu gonitwach na torach w Derby i Doncaster. Po jego śmierci Manor House odziedziczył jego bratanek kapitan John Farr i jego rodzina. Obecnie posiadłość wraz z parkiem jest niedostępna dla zwiedzających.
