Forsvaret anla et militært etablissement på begge sider av Oslofjorden på slutten av 1800-tallet og begynnelsen av 1900-tallet. Forsvaret overtok Nesset, og gården Nedre Neset i 1875 for å få tilgang til sand, leire og grus til bygging av jeteen i Drøbaksundet.

https://www.forsvarsbygg.no/no/verneplaner/landsverneplan-for-forsvaret/ostlandet/oscarsborg-festning/