Šai skolai gan ir ļoti sena vēsture, un tā ir viena no vecākajām Augšzemē. Pirms 175 gadiem skolu Gārsenē dibinājis jauns un enerģisks luterāņu mācītājs Kārlis Silvestrs Boks ar vietējās muižas baronu Budbergu atbalstu. Sākumā tā atradusies nelielā koka ēkā līdzās smēdei, bet pirms 75 gadiem pārcēlusies uz baronu muižas pili, un pēc grezno iekštelpu pārbūves mācību iestādi 1940. gada 2. jūnijā atklājis Latvijas prezidents Kārlis Ulmanis.
Diemžēl šogad Gārsenes pamatskolu apmeklēja tikai 19 bērni.
Pirms pāris gadiem skola ieguva Sorosa fonda-Latvija finansējumu projektā “Pārmaiņu iespējas skolā” un krietni papildinājusi savu materiāli tehnisko bāzi. Pēc skolas slēgšanas pilī turpinās darboties pagasta bibliotēka, novadpētniecības istaba, Tūrisma informācijas centrs un izstāžu zāle, kā arī vasaras nometnes.