Kaip ir daugelio išradimų atveju, vaizdo žaidimų istorija yra šiek tiek ginčytina. Vaizdo žaidimus, kokius mes žinome šiandien, galima atsekti nuo šeštojo dešimtmečio pradžios. Ralphas Baeris, kuris yra žinomas kaip vaizdo žaidimų tėvas, buvo televizijos inžinierius, 1950 m. sukūręs interaktyvių televizijos žaidimų koncepciją. Tačiau prireiks kelerių metų, kol jo vizijos bus įgyvendintos. 1951 m. William Higginbotham sukūrė pirmąjį interaktyvų kompiuterinį žaidimą, pavadintą Tennis for Two.
Vaizdo žaidimai pradėjo vystytis į arkadinius žaidimus ir galiausiai namų konsoles. Ankstyviausi vaizdo žaidimai apėmė „Computer Space“; kuris buvo pirmasis monetomis valdomas arkadinis žaidimas; Pong, kuris buvo pirmasis masinis vaizdo žaidimas; Susišaudymas; ir Space Invaders, kuris buvo pirmasis vaizdo žaidimas, kuriame buvo rodomi animaciniai personažai ir aukšti rezultatai.
Pirmieji vaizdo žaidimai, žaidžiami namuose, buvo „Atari Video Computer System“ (VCS 2600), kuri buvo išleista 1977 m. ir parduodama per „Sears“. Be „Pong“ ir „Space Invaders“, pirmieji „Atari“ vaizdo žaidimai buvo „Breakout“ ir „Combat“. Taip pat greitai augo monetomis valdomi arkadiniai žaidimai. Ankstyviausi vaizdo žaidimai, rasti arkadose, yra „Asteroids“ ir „Pac Man“, kuris išlieka populiariausiu visų laikų arkadiniu žaidimu.
Vienas iš pirmųjų vaizdo žaidimų, kuriame buvo rodomas ilgalaikis vaizdo žaidimų personažas, atsirado 1981 m., kai „Nintendo“ išleido „Donkey Kong“ su Mario. Mario, mylimas santechnikas, kuris iš pradžių buvo skirtas dailidės profesijai, ilgą laiką buvo daugybės vaizdo žaidimų centre, o dar daugiau yra žaidžiamų. Kiti seniai populiarūs vaizdo žaidimai yra „Final Fantasy“ serija, „Zelda“ ir „Pokemon“.
Po beveik trijų dešimtmečių pažanga nuo seniausių vaizdo žaidimų iki šių dienų modernių versijų yra fenomenali. Dėl technologinės pažangos, leidžiančios programinės įrangos kūrėjams išplėsti voką, atsirado trys pagrindiniai pasauliniai žaidėjai: „Microsoft“, „Sony“ ir „Nintendo“. Kiekviena įmonė reklamuoja savo individualius pasiekimus žaidimų pramonėje, tačiau „Nintendo“ priklauso visų laikų geriausiai parduodamų vaizdo žaidimų rekordas; daugiau nei 20 metų „Super Mario Bros.“ turėjo šią garbę, kol 2009 m. ją aplenkė „Wii Sports“.