Fudge kilmė neaiški, tačiau fudge istoriją galima atsekti mažiausiai iki 1886 m. Tiksli fudge kilmė ir išradėjas tebėra ginčijamas, tačiau kai kurie ekspertai mano, kad žodis „fudge“ pirmą kartą buvo vartojamas sugadintai karamelių partijai, todėl buvo sušuktas „O fudge! Dauguma maisto istorikų mano, kad fudge, koks jis egzistuoja šiandien, yra amerikiečių išradimas.
Fudge yra kristalinis konditerijos gaminys. Skirtingai nuo daugelio kitų saldainių rūšių, tokių kaip taffy ir karamelės, kurie atsisako kristalizacijos, kristalų susidarymas yra būtinas norint sukurti fudge. Šis procesas sukuria tvirtą, bet glotnų saldainį, nes kristalai yra tokie maži, kad neturi skonio ir nesijaučia grūdėtumo. Fudge mišinys, kuriame turi būti cukraus, sviesto ir pieno, turi būti tinkamai paruoštas ir atvėsintas, kad susidarytų tinkamo dydžio cukraus kristalai. Jei procesas nebus atliktas teisingai, kristalai susiformuos per anksti ir taps per dideli arba išvis nesusiformuos, todėl bus panašus į karamelę saldainis.
Fudge istorija gali būti ankstesnė nei JAV įkūrimas, o ekspertai greitai atkreipia dėmesį į fudge ir planšetinio kompiuterio, škotiško saldumyno, panašumus. Planšetinis kompiuteris pirmą kartą paminėtas ponios Grisell Baillie namų knygoje, kuri buvo parašyta 1692–1733 m. Tabletės kūrimo procesas prasideda taip pat, kaip ir fudge – verdant cukrų, pieną ir sviestą, kol jie pasiekia minkštojo rutulio stadiją 235–240 laipsnių F (113–116 laipsnių C), tada mišinys pašalinamas iš pakaitinti ir leisti atvėsti. Kristalizacija vyksta tabletėse, tačiau susidaro dideli kristalai, dėl kurių saldainiai įgauna grūdėtą ir trapią tekstūrą, kuri labai skiriasi nuo minkštos, lygios tekstūros.
Emelyn Battersby Hartridge dokumentuoja pirmąjį fudge pardavimą, 1886 m. parašydama laišką, kuriame teigiama, kad mokyklos draugo pusbrolis Baltimorėje pardavė fudge už 40 centų už svarą. 1888 m. ponia Hartridge, vis dar besimokanti Vassar koledže Poughkeepsie mieste, Niujorke, rašė, kad ji pagamino net 30 svarų fudge senjorų aukcionui. Fudge’as greitai prigijo „Vasar“ ir netrukus saldumynų receptai pradėjo pasirodyti kituose moterų koledžuose. Smitho ir Wellesley kolegijos pritaikė vadinamąjį originalų receptą į savo versijas.
Vassar receptas reikalavo baltojo cukraus, grietinėlės, nesaldinto šokolado ir sviesto. Wellesley koledžo kūrinys tik šiek tiek pakeitė originalų receptą, pridedant zefyrų, kurie neleidžia mėšlui nesugriūti aušinant. Smith College receptas buvo pirmasis, kuris nukrypo nuo originalo, pridedant papildomo sviesto kartu su ruduoju ir baltuoju cukrumi, melasa ir vanile. Kiekvienas iš šių receptų yra labai subtilus. Fudge istorija buvo amžiams pakeista, kai kukurūzų sirupas, kuris sulėtina kristalų susidarymą, pirmą kartą buvo panaudotas patikimiems receptams.