Robots.txt

Τι είναι το Robots.txt;

Το Robots.txt είναι ένα αρχείο που λέει στις αράχνες μηχανών αναζήτησης να μην ανιχνεύουν συγκεκριμένες σελίδες ή ενότητες ενός ιστότοπου. Οι περισσότερες μεγάλες μηχανές αναζήτησης (συμπεριλαμβανομένων των Google, Bing και Yahoo) αναγνωρίζουν και τιμούν τα αιτήματα του Robots.txt.

Γιατί είναι σημαντικό το Robots.txt στο SEO;

Οι περισσότεροι ιστότοποι δεν χρειάζονται αρχείο robots.txt. Αυτό συμβαίνει επειδή η Google μπορεί συνήθως να βρει και να ευρετηριάσει όλες τις σημαντικές σελίδες στον ιστότοπό σας. Δεν θα ευρετηριάσουν αυτόματα σελίδες που δεν είναι σημαντικές ή διπλές εκδόσεις άλλων σελίδων. Ωστόσο, υπάρχουν 3 κύριοι λόγοι για τους οποίους θέλετε να χρησιμοποιήσετε ένα αρχείο robots.txt.

Αποκλεισμός μη δημόσιων σελίδων: Μερικές φορές έχετε σελίδες στον ιστότοπό σας που δεν θέλετε να ευρετηριαστούν. Για παράδειγμα, μπορεί να έχετε μια σταδιακή έκδοση μιας σελίδας. Ή μια σελίδα σύνδεσης χρηστών.  Αυτές οι σελίδες πρέπει να υπάρχουν. Αλλά δεν θέλετε τυχαία άτομα να βρίσκουν αυτές τις σελίδες στις μηχανές αναζήτησης. Στην περίπτωση αυτή θα χρησιμοποιούσατε το robots.txt για να αποκλείσετε αυτές τις σελίδες από προγράμματα ανίχνευσης και bots μηχανών αναζήτησης.

Μεγιστοποίηση προϋπολογισμού ανίχνευσης(Crawl Budget): Εάν δυσκολεύεστε να ευρετηριάσετε όλες τις σελίδες σας, ενδέχεται να έχετε πρόβλημα προϋπολογισμού ανίχνευσης. Αποκλείοντας ασήμαντες σελίδες με το robots.txt, το Googlebot μπορεί να ξοδέψει περισσότερο από τον προϋπολογισμό ανίχνευσης σε σελίδες που έχουν σημασία.

Αποτροπή ευρετηριασμού πόρων: Η χρήση meta tags μπορεί να λειτουργήσει εξίσου καλά με το Robots.txt για να αποτρέψει την ευρετηρίαση σελίδων. Ωστόσο, τα meta tags δεν λειτουργούν καλά για πόρους πολυμέσων, όπως PDF και εικόνες. Εκεί είναι απαραίτητο το robots.txt