Personalizare il file robots.txt
Il file robot.txt è un piccolo file che si trova nella root (la cartella principale) di Joomla. Questo file contiene le regole che devono seguire i crawler (detti anche spider) per applicare restrizioni di analisi sulle pagine di un sito internet.
In pratica dice ai motori di ricerca (google, bing, yahoo, ...) quali pagine indicizzare, e quindi quali pagine far comparire come risultato di una ricerca e quali no.
Una cosa che non tutti sanno è che il file robot.txt va posizionato nella root del nostro sito web, quindi se abbiamo installato Joomla in una sub-directory dobbiamo spostare questo file nella cartella principale e modificarlo di conseguenza.
Quindi il file deve essere sempre raggiungibile dall'url http://www.miosito.it/robot.txt, altrimenti non avrà alcun effetto.
Per installare