Virtuali realybė kasdien naudojama įvairiose srityse – nuo kineziterapijos iki pramogų. Kad ir kaip būtų pranašumų, kuriuos vieną dieną ši technologija gali pasiekti, reikės atsižvelgti ir į virtualios realybės trūkumus. Kai kurie aspektai, pvz., naudojama technologija, kelia didelių problemų kūrėjams ir riboja bandymus plačiai naudoti ir platinti. Kiti rūpesčiai susiję su virtualiosios aplinkos programinės įrangos diegimu ir ribomis, ko galima ir ko negalima pasiekti. Galiausiai nerimaujama dėl socialinio poveikio, kurį įtraukianti aplinka gali turėti žmonėms, taip pat dėl ilgalaikio naudojimo psichologinio poveikio.
Vienas didžiausių virtualios realybės trūkumų yra tai, kad technologijos, reikalingos įtraukiančiam ar natūraliam potyriui, liko sunkiai suprantamos. Haptinės sistemos, teikiančios fizinį grįžtamąjį ryšį arba leidžiančios visiškai išreikšti buvimą aplinkoje, yra gremėzdiškos ir gali sukelti problemų naudojant. Aparatūros tipas, kurį naudoja net paprasti ant galvos tvirtinami ekranai, gali sutrikdyti panardinimo jausmą, nes reikia atlikti įrenginio koregavimus, o komponentai, tokie kaip laidai ir ausinės, virsta kliūtimis natūraliam judėjimui.
Net pati paprasčiausia virtualios realybės aparatinė ir programinė įranga išryškina dar vieną virtualios realybės trūkumą, būtent kainą. Bet kuriai sistemai, kuri bando suteikti svaiginančią patirtį, reikalingas tam tikras ekranas, kuris bandytų apgauti žmogaus pojūčius. Šios sistemos yra labai brangios ir jas naudoti gali būti sunku, daugiausia todėl, kad tiek mažai žmonių turi techninių žinių joms taisyti ar prižiūrėti. Be to, daugumos virtualios realybės sistemų negalima lengvai pakeisti kita aparatine įranga, todėl padidėja sąnaudos ir sumažėja ilgalaikė pradinės investicijos į tokią sistemą vertė.
Socialiniu požiūriu kai kurie virtualios realybės kaip pramogos naudojimo trūkumai jau išryškėjo net neturint patirties, kuri visiškai atitraukia žmogų nuo jį supančių dirgiklių. Viena iš problemų yra socialinė izoliacija, kai virtualios realybės vartotojas labiau pasikliauja sąveika, vykstančia virtualiame pasaulyje, nei patirtimi realiame pasaulyje. Šis tikros fizinės sąveikos trūkumas gali sukurti neteisingas asociacijas, kurios nėra tikros socialinės aplinkos dalis. Izoliacija ilgainiui gali sukelti depresiją, atsiribojimą ir kitas sąlygas, jei ji yra pakankamai sunki.
Dar vienas iš galimų psichologinių ir socialinių virtualios realybės trūkumų yra desensibilizacija. Jei kai kurie vartotojai plačiai naudotų virtualiąją realybę pramogoms, jiems gali kilti pavojus, kad jie neatpažins tikrųjų pasekmių veiksmams, kuriuose jie dalyvauja arba kuriuos žiūri. Išvertus į realų pasaulį, kraštutiniu atveju gali trūkti supratimo apie kai kurių veiksmų, atliekamų ne virtualioje aplinkoje, poveikį.