Sem lensmannskontor tilhørte Jarlsberg fogderi. I grevskapstiden (1673 - 1821) lå det i Jarlsberg grevskap, og deretter i Jarlsberg og Larvik amt (senere Vestfold fylke). Sem tilhørte Søndre Jarlsberg sorenskriveri til 1952, deretter Jarlsberg sorenskriveri (senere Tønsberg tingrett). Kontoret ble sammenslått med Tønsberg byområde i 1988, og ble hetende Tønsberg lensmannskontor. Samme året ble Sem kommune sammenslått med Tønsberg kommune (se Tønsberg lensmannskontor).