Robots.txt to plik tekstowy należący do grupy protokołów internetowych o nazwie Robots Exclusion Protocol lub REP. Ten plik nakazuje botom wyszukiwarek, takim jak Googleboty, jakie strony mają przeszukiwać i indeksować. Robot.txt pomaga stronom internetowym uniknąć bombardowania zbyt dużą liczbą żądań. Odgrywa ogromną rolę w uzyskaniu dobrego wyniku SEO.