I 1875 ble det opprettet en ekspedisjonssjefstilling for straffeanstaltenes og fengselsvesenets anliggender. Dette arbeidsområdet hadde hittil ligget under Kriminalkontoret A. Samtidig ble Justisdepartementets revisjonskontor nedlagt, og Kontoret for Strafanstalt- og Fængselsvæsenet, eller Fængselsstyrelsen som det het fra 1897, overtok Revisjonskontorets journalbokstav D. Siden det nye kontoret ble ledet av en ekspedisjonssjef, var det nå rent formelt opprettet en ny avdeling i departementet - en fengselsavdeling med ett kontor. I 1917 ble avdelingen delt i to kontorer: ett som skulle behandle saker vedrørende landsfengslene, og ett som skulle ta seg av krets- og distriktsfengsler. I Ved Kgl. res. av 8. mai 1945 ble det opprettet et 3. kontor. I 1946 ble det opprettet en avdeling med betegnelsen Fengselsstyrets landssvikavdeling. Avdelingen hadde 3 kontorer ledet av byråsjefer, men ingen ekspedisjonssjef. Fengselsstyrets ekspedisjonssjef var den formelle leder for begge avdelinger. Knapt 2 år senere ble avdelingsbetegnelsen opphevet, og fra 1949/50 ble de 3 kontorene ble slått sammen til 2, som ble 4. og 5. kontor under Fengselsstyret. Landssvikavdelingen er oppført i statskalenderen i åra 1947-49. Ved utvidelsen i av avdelingen mellom 1945 og 1950 fikk 1. kontor ansvaret for saker vedrørende fengselslovgivningen og fangebehandlingen både i landsfengslene og distriktsfengslene. Under 2. kontor ble saker vedrørende besettelser av embeter og stillinger i fengselsvesenet, samt ansvaret for fengselsskolen plassert. 3. kontor hadde vesentlig ansvaret for budsjett- og regnskapssaker og saker vedrørende drift av fengslene. Mens 4. kontor i tillegg til ansvaret for benådning av landssvikere, også fikk ansvaret for alminnelige benådningssaker, hadde 5. kontor hovedansvaret for saker vedrørende straffefullbyrdelse i landssviksaker. 5. Kontor ble nedlagt alt i 1953. Deretter ble de landssviksaker som gjensto i sin helhet lagt til 1. kontor. I 1972 ble 5. kontor gjenopprettet. Benådningssakene og ansvaret for strafferegisteret ble da overført fra 4. til 5. kontor. Arbeidsområdene ble ellers prøveløslatelse og gjeninnsetting og saker vedrørende kontakt med utenlandske myndigheter deriblant fullbyrdelse av nordiske dommer mm. 4. kontor fikk overført ansvaret for driften ved fengslene fra 3. kontor som nå fikk mer reine regnskaps- og budsjettsaker samt ansvar for bygninger og inventar. Den 1. januar 1980 endret Fengselsstyret navn. Årsaken til dette var at Kriminalomsorgen i frihet; som omfattet Norges Vernesamband og alle landets vernelag, ble overtatt av staten. Fengselsstyrets offisielle navn ble Avdelingen for fengselsvesen og Kriminalomsorg i frihet. I 1981 vedtok Stortingen ved behandlingen av statsbudsjettet, å endre navnet Kriminalomsorgsavdelingen. I forbindelse med overtakelsen av Kriminalomsorgen i avdelingen i frihet fikk avdelingen i 1980 sitt 6. kontor, med den faglige og administrative ledelse av Kriminalomsorg i frihet. 2005: Avdelingen organiseres i tre nye seksjoner. Videre ivaretas en del oppgaver i avdelingen i team med deltakere fra flere seksjoner. Det gjelder oppgaver som krever tverrfaglig kompetanse og et overordnet perspektiv, og som er en fast del av avdelingens kompetanseområde. Kriminalomsorgsavdelingen i Justisdepartementet har som hovedoppgave å være sekretariat for politisk ledelse, utarbeide forslag til statsbudsjettet, utforme styringsdokumenter og regelverk og ivareta samarbeidet med andre departementer. Ved siden av dette, har Kriminalomsorgsavdelingen også en direktoratsfunksjon: som Kriminalomsorgens sentrale forvaltning (KSF). KSF har det øverste faglige og administrative ansvaret for kriminalomsorgen. Kriminalomsorgsavdelingen er overordnet Kriminalomsorgens sentrale forvaltning (KSF).