Kongen utnevnte allerede i 1587 egen tollskriver i Drammen. Drammen tollsted ble opprettet ved kgl. res. 03.12.1819. Ved kgl. res. 08.12.1821 utgjorde Drammen tollsted - sammen med Holmestrand tollsted - Drammen tolldistrikt. Fra 1894 til 1967 hørte Drammen tollsted under Larvik tolldistrikt. Drammen tollsted var midlertidig underlagt Tønsberg tolldistrikt fra 1967-1969. Mellom 1969 og 1993 var Drammen tollsted en del av 4. tolldistrikt. I perioden 1993 - 2001 hørte Drammen tollsted først under Buskerud tolldistrikt, så fra 2001-2004 under Buskerud, Vestfold og Telemark tolldistrikt. Fra 2004 er Drammen tollsted underlagt Tollregion Sør-Norge. Underliggende tollstasjoner: Svelvik, Tangen, Glassverket og Tofte