יצירת קובץ robots.txt

יצירת קובץ robots.txt

קובץ robots.txt הוא המסמך הראשון אליו פונה מנוע החיפוש בעת הסריקה של האתר שלכם.
כשמו הוא מסמך טקסט, לא מקודד ולא דורש ידע מיוחד לקרוא או לכתוב אותו.
הקובץ צריך להיות ממוקם בתקייה הראשית או בשם תקיית השורש של אתרך כך שמנוע החיפוש יכול למצוא אותו בקלות כדוגמא:

http://www.yourdomains.co.il/robots.txt

בקובץ זה אנחנו מגדירים למנוע החיפוש איפה הם יכולים לסרוק את דפי התוכן ולאיפה אסור להם להגיע.
אם רוצים לחסום את מנועי החיפוש מלהגיע לכל האתר משתמשים בדוגמא הבאה:
User-agent: *
Disallow: /

אם רוצים לאפשר סריקה של האתר רק לא בתקיית CACHE לדוגמא מבצעים זאת כך:
User-agent: *
Disallow: /cache

User-agent: * מגדיר שכל הרובוטים מקבלים את אותה הוראה.
Disallow מגדיר לרובוט באיזה תקיות לא לבקר ולא לסרוק.

שמגדירים את התקייה הראשית כמו בדוגמא הראשונה, מנוע החיפוש לא יציג מידע מהאתר שלנו בתוצאות מנוע החיפוש.
(שימו לב שאם השתמשתם בשיטה זו למנוע סריקה, אולם יש אתרים שמקשרים לאתר שלכם, יכול מנוע החיפוש להציג מידע ממקורות חיצוניים אלו).

בדוגמא השנייה (היותר שכיחה) אנחנו מאפשרים לכל מנועי החיפוש לסרוק רק מונעים מהם את תקיית הקש בדוגמא זו, מאחר ושם יכול להיות תוכן מיותר או משוכפל שאיננו רוצים שהמנוע

יסרוק ואולי בעקבות סריקה כזו ידרג אותנו פחות טוב.

הרגישו חופשי להגיב ולשאול.

בברכה,
אסף לירן

line
footer
כל הזכויות שמורות © Liran.co.il