Toftegård var ejet af Ledreborg. Hvornår den er kommet under grevskabet, er uvist, men det er ejer i de ældste efterretninger fra 1770erne. Fæstet har ligeledes været i den samme slægt, dog med enkelte krumspring ved giftermål.
Gården lå placeret på sydsiden af den gamle hovedvej østligst i byen. Efter byens udskiftning i 1787, blev Toftegård ikke udflyttet, da den fik sine jorde umiddelbart syd for dens placering. Den fik dog et engstykke helt i vest, ved sognegrænsen til Kornerup. Markjorden udgjorde ca. 50 tdr. land, engstykket ca. 5.
Den ældste kendte person der har fæstet, er Ole Pedersen. Han er tiltrådt gården ca. 1764 og optræder i den ældste folketælling fra 1787. I folketællingen fra 1801, er fæstet overgået til sønnen Peder Olesen. Han er født omkring 1755. Han bliver gift med Zidse Olsdatter, og de får datteren Mette Pedersdatter.
I folketællingen fra 1834 har Ole Rasmussen fæstet, og han er gift med Mette Pedersdatter. Peder Olesen lever stadig, i en alder af 79 år, og bor på aftægt hos datteren og svigersønnen.
I folketællingen fra 1850 er fæstet overgået til Ole Christiansen. Han er gift med Ane Olsdatter, en datter af Ole Rasmussen og Mette Pedersdatter. De tidligere fæstere bor på aftægt hos datteren og svigersønnen. I tællingen fra 1860 er han død, men Mette Pedersdatter lever stadig.
Ole Christiansen dør i 1888 og Ane Olsdatter overtager fæstet. Senere overtager en af sønnerne, Niels Olsen, fæstet. I 1914 opstår der brand på gården. I efterårsstormen i oktober spredte ilden sig, og næsten alle bygninger syd for hovedvejen går til. Ledreborg opførte nye bygninger til fæsterne. En anekdote fortæller, at da Niels Olsen skulle foretræde for greven til en snak om genopbygning af gården, havde han fået det råd fra en lokal tømrermester, at han skulle græde under samtalen. Det resulterede i at Toftegården var bedre bygget end de to andre nyopførte gårde. Så gråden må have været godt for noget. Niels Olsen købte gården til selveje i 1917, og overdrog den i 1925 til sønnen Poul Kristian Olsen. Poul Christian Olsen omlagde en del af driften til svin. I en optegnelse beskrives det at Niels Olsens dyrehold bestod af: ca. 39 stykker kvæg af rød malkerace; ca. 7 heste og årligt salg af ca. 50 stykker slagtesvin, det berettes at Poul Christian Olsen havde: 40 stykker kvæg; 6 heste; 150 slagtesvin og ca. 60 høns.
Han blev gift med Anna Ebba Olsen, og de bliver de sidste gårdejere på Toftegård. Kornerup-Svogerslev kommune køber gården i 1960erne og jorden udstykkes til boliger. Klevekær og Bovsager ligger i dag på Toftegårds jorder.
Efter at stalde og lader var nedrevet blev stuehuset brugt til forskelligt lejemål. Efter at have stået tomt over en længere periode, blev Svogerslev ældreklub flyttet fra Søndergården over i det gamle stuehus. Senere besluttede Roskilde kommune at oprette en børnehave på stedet. I dag går den gamle Toftegård under navnet ”Børnehuset Troldhøj”.
JBP 1/5-2021