Ytre Sandsvær lensmannskontor tilhørte Buskerud fogderi og Numedal og Sandsvær sorenskriveri. Kontoret ble slått sammen med Øvre Sandsvær lensmannskontor til Sandsvær lensmannskontor i 1973. I 1964 ble Kongsberg - , Ytre Sandsvær og Øvre Sandsvær sammenslått til Kongsberg kommune. Lensmannskontoret endret navn til Kongsberg lensmannskontor i 1989 (se Sandsvær lensmannskontor).