Vienas senovinis ritualas, aprašytas Senajame Testamente, buvo susijęs su ožkos atrinkimu ir galimu išvarymu iš likusios kaimenės. Ši ožka dažnai buvo nudažyta raudonu pigmentu, atspindinčiu visos bendruomenės kolektyvines nuodėmes ir skriaudas. Pagal tradiciją ši ožka buvo išsiųsta į dykumą susitikti su Azazelu, puolusiu angelu, panašiu į Šėtoną ar Liuciferį. Viduramžių klaidingas vertimas sukūrė šiuolaikinę legendą apie pabėgusį ožį arba atpirkimo ožį.
Šiuolaikiškai kalbant, atpirkimo ožiu dažnai laikomas organizacijos narys, laikomas atsakingas už visos grupės nesėkmes ar trūkumus. Pavyzdžiui, bankrutuojančios įmonės finansų vadovas gali būti atsakingas už jos finansines nesėkmes. Nusivylęs vadovas gali būti apkaltintas įmonės atskleistais nusižengimais, o žemo lygio politikas gali būti traktuojamas kaip plačiai paplitusios valdžios korupcijos atstovas.
Tai nereiškia, kad atpirkimo ožys yra visiškai nekaltas dėl kaltinimų arba buvo paaukotas nesąžiningai. Asmuo, pripažintas kaltu dėl viešosios korupcijos eidamas pareigas, gali tapti simboliu kitiems, padariusiems panašius nusikaltimus, bet nebuvo apkaltintas ar nubaustas. Kai sporto pasaulyje kilo skandalas dėl neteisėto steroidų vartojimo, kai kurie žmonės tikėjo, kad saujelė žaidėjų, prisipažinusių, kad vartoja narkotikus, tapo visų jų organizacijų atpirkimo ožiais. Į šį asmenį taip pat galima žiūrėti kaip į auką, kuris priima bausmę, kad apsaugotų kitus.
Taip pat pasitaiko situacijų, kai atpirkimo ožius pasirenkamas dėl politinių ar strateginių priežasčių. Pavyzdžiui, kaltę dėl įmonės nesėkmių suvertus žemo lygio vadovui, teisinis dėmesys gali būti nukreiptas nuo aukštesnio rango pareigūnų. Žemo lygio vadovo ateitis gali būti ne tokia šviesi, bet bent jau visa organizacija išgyventų visuomenės kontrolę, nubausdama paskirtą pažeidėją. Dažnai šio asmens vaidmuo yra viešai parodyti neteisėtus veiksmus ar korupciją ir susitaikyti su kitų žmonių veiksmų pasekmėmis.
Gelbėjimo ožis taip pat gali būti laikomas savisaugos aktu. Pavyzdžiui, užuot prisiėmusi kolektyvinę kaltę dėl išdaužto lango, grupė beisbolo žaidėjų mėgėjų galėtų išskirti kaltą mušėją. Nors kiekvieno žaidėjo veiksmai prisidėjo prie žalos, visą atsakomybę sukėlus paskutiniam kamuolį palietusiam žaidėjui, likusi grupė būtų atleista nuo asmeninės atsakomybės. Grupei dažnai daug lengviau paskirti vieną asmenį, kuris prisiimtų kaltę, o ne prisiimti individualią atsakomybę už tam tikrus pažeidimus.