Fra 1650 har Nesset vært omtalt som havn og ladested, hvor tømmer ble lastet på skip og sendt til Holland eller England. Bosettingen på Nesset innerst i Bunnefjorden, har en rik historie preget av småbruk, sjøfart, tre- og iseksport og fiske. På slutten av 1870-tallet kom dampskipene, og med dem nye muligheter. Dampskipene gjorde Nesset til et viktig knutepunkt i Follo, og passasjertrafikken skapte det moderne Nesset. Reisende fra hele Follo kom til Nesset med hest og vogn eller bil, og fortsatte derfra med skip til hovedstaden.

Den første passasjerbåten som besøkte Nesset var hjulbåten Bjørn Farmand, bygd i 1855 og oppkalt etter Harald Hårfagre sin sønn. Nesset har også hatt et landhandleri etablert av Finn Eriksen i 1936 og et bakeri startet av Johs. Fredriksen

 

På skysstasjonen på Nesset ble det allerede i 1804 gitt en bevilling av Kongen til å drive gjestiveri her. Siden har Nesset Bad- og Restaurant, kjent som "Den hvite hest" vært et populært møtested hvor mange unge i Follo fant sin ektefelle. Restauranten brant på 1960-tallet, men minnene lever videre.