Sukūrus vertingą, įdomų tinklapį ir jį patalpinus internete dar nereiškia, kad jis bus populiarus ir lankomas. Lankytojai turi apie jį sužinoti. Jei mes ieškome kažko internete dažniausiai naudojamiems paieškos sistemomis google, yandex ar dar kokiomis. Paieškos sistemų veikimo principas vienodas: paieškos robotai apsilanko mūsų tinklapyje surenka informaciją apie tinklapį ir patalpina ją savo duomenų bazėje. Kad būtų surenkamą kuo išsamesnė informacija apie mūsų tinklapį būtina laikytis tam tikrų reikalavimų, taisyklių. Šiame straipsnyje pateiksiu keletą patarimų kuriais pasinaudoję palengvinsite  paieškos sistemoms tinklapio indeksaciją ir tuo pačiu padidinsite jo lankomumą, nes kad ir koks gražus tinklapio dizainas bebūtų paieškos robotai to neįvertins ir paieškos sistemos gali neturėti apie jį duomenų.

Daugumoje  tinklapių sukurtų įvairių TVS pagrindu  yra daug informacijos kurios nebūtina indeksuoti. Tinklalapio indeksacija yra sudėtingas ir nemažai resursų reikalaujantis procesas, todėl norint sumažinti serverio apkrovą ir indeksacijos dubliavimą būtina nustatyti tam tikras indeksavimo taisykles. Šias taisykles paieškos robotams apibrėžia robots.txt failas. Šis failas yra šakniniame kataloge . Tai yra paprastas tekstinis failas kuriame aprašomos tinklalapio indeksavimo taisyklės. Jas keičiant galima įtakoti tinklapio indeksaciją.