Den første lykta på fyrstasjonen ble tent i 1840. Den var plassert i veggen på et privathus. Etter hvert økte skipstrafikken kraftig, og i 1877 sto det nye fyret ferdig. Fyrlykta var plassert i et karnapp i annen etasje, over fyrvokterboligen. Da fyret ble elektrisk i 1919, ble lykta flyttet opp i et nytt lyktehus, og siden den gangen har Filtvet fyr sett ut som i dag. Gjennom drøyt hundre år bodde det fyrvoktere her som sørget for at lyset aldri sluknet.

En av de mer kjente fyrvokterne var Thomas Neumann. Han kom hit i 1895, etter en lang karriere som skipper på flere seilskuter. Da var han allerede 68 år gammel, og dette skulle bli pensjonistjobben hans. Han flyttet inn i fyrvokterboligen sammen med kona Caroline. Så godt trivdes han, at han protesterte da fyrvesenet ville bytte ham ut i en alder av 82 år. Han argumenterte med at det ville bli vanskelig å få ny jobb, så gammel som han var blitt. Saken ble løst ved at han fikk en liten pensjon fra staten, noe som var temmelig uvanlig på den tiden.

Automatiseringen av norske fyr startet på 1980-tallet, og siden 1985 har det ikke bodd folk i Filtvet fyr. Men et fungerende fyr er det her fortsatt, nå i form av en betongsøyle i sjøkanten.