Paieškos variklis yra kompiuterinė programa, kuri veikia kaip būdas gauti informaciją iš duomenų bazės, remiantis tam tikrais vartotojo apibrėžtais kriterijais. Šiuolaikiniai ieško duomenų bazėse, kuriose yra didžiulis duomenų kiekis, surinktas iš pasaulinio žiniatinklio, naujienų grupių ir katalogų projektų.
Prieš pasaulinį žiniatinklio egzistavimą, bet po interneto atsiradimo ir jo populiarumo universitetuose buvo sukurta pirmoji paieškos sistema. Šiuo metu istorijoje – devintojo dešimtmečio pabaigoje ir dešimtojo dešimtmečio pradžioje – vienas iš pagrindinių internete naudojamų protokolų buvo failų perdavimo protokolas (FTP). FTP serveriai egzistavo visame pasaulyje, dažniausiai universitetų miesteliuose, tyrimų įstaigose ar vyriausybinėse agentūrose. Kai kurie Monrealio McGill universiteto studentai nusprendė, kad įvairiuose populiariuose FTP serveriuose esanti centralizuota failų duomenų bazė padės sutaupyti laiko ir pasiūlyti puikią paslaugą kitiems. Tai buvo Archie paieškos variklio atsiradimas.
Archie, kurio trumpinys buvo archyvas, buvo programa, kuri reguliariai prisijungdavo prie savo sąraše esančių FTP serverių ir sudarė serveryje esančių failų indeksą. Kadangi procesoriaus laikas ir pralaidumas vis dar buvo gana vertinga prekė, Archie tikrindavo, ar nėra atnaujinimų, tik maždaug kas mėnesį. Iš pradžių Archie sukurtas indeksas turėjo būti tikrinamas naudojant Unix komandą grep, tačiau netrukus buvo sukurta geresnė vartotojo sąsaja, leidžianti lengvai ieškoti indekso. Po Archie atsirado keletas paieškos sistemų, kurios ieškojo panašaus Gopher protokolo – du iš žinomiausių yra Jughead ir Veronica. Archie tapo gana pasenusi, kai atsirado pasaulinis žiniatinklis ir vėlesnės paieškos sistemos, tačiau Archie serveriai vis dar egzistuoja.
1993 m., neilgai trukus po pasaulinio žiniatinklio sukūrimo, Matthew Gray sukūrė World Wide Web Wanderer, kuris buvo pirmasis žiniatinklio robotas. „World Wide Web Wanderer“ indeksavo visas internete esančias svetaines, užfiksuodama jų URL adresus, bet nesekė jokio tikrojo svetainių turinio. Indeksas, susijęs su Wanderer, kuris buvo ankstyvas paieškos variklis, buvo vadinamas Wandex.
Po „Wanderer“ išaugo keli kiti nedideli projektai, kurie pradėjo artėti prie šiuolaikinės paieškos sistemos. Tai buvo „World Wide Web Worm“, „Repository-Based Software Engineering“ (RBSE) voras ir „JumpStation“. Visi šie trys naudojo žiniatinklio robotų surinktus duomenis, kad grąžintų tą informaciją vartotojams. Vis dėlto didžioji dalis informacijos buvo tiesiog grąžinta nefiltruota, nors RBSE bandė reitinguoti puslapių vertę.
1993 m. kai kurių Stanfordo studentų įkurta įmonė, pavadinta „Excite“, išleido, ko gero, pirmąjį paieškos variklį, kuris iš tikrųjų įtraukė puslapio turinio analizę. Šis pradinis pasiūlymas buvo skirtas paieškai svetainėje, o ne paieškai visame žiniatinklyje.
Tačiau 1994 m. paieškos sistemos pasaulyje įvyko didelis proveržis. Bendrovė „WebCrawler“ pradėjo veikti su paieškos sistema, kuri ne tik užfiksavo interneto puslapių pavadinimus ir antraštes, bet ir visą turinį. WebCrawler buvo nepaprastai sėkmingas – toks sėkmingas, kad didžiąją laiko dalį jos net nebuvo galima panaudoti, nes buvo naudojami visi sistemos ištekliai.
Šiek tiek vėliau tais metais buvo išleista „Lycos“, apimanti daug tų pačių funkcijų, kaip ir „WebCrawler“, ir jų pagrindu. Lycos reitingavo savo rezultatus pagal tinkamumą ir leido vartotojui pakoreguoti daugybę nustatymų, kad gautų geresnių rezultatų. Lycos taip pat buvo didžiulis – per metus joje buvo suarchyvuota gerokai daugiau nei vienas milijonas svetainių, o per dvejus metus – 60 mln.