הכול על Robots.Txt

אתה יכול להורות לרובוטים האינטרנטיים ולסורקים איך לסרוק את האתר שלך.

זה גם נקרא גם פרוטוקול אי הכללת רובוטים
robots exclusion protocol.

אתה יכול להורות לרובוטים האינטרנטיים ולסורקים איך לסרוק את האתר שלך.

כשרובוט אינטרנט או סורק מבקר באתר, הוא מחפש את ההרשאה מ - robots.txt.

אפשר להורות לרובוטים לא לסרוק את האתר.

לדוגמא

משתמש סוכן: *

אי הרשאה:

שאלה, שהכי נשאלת - מה עושה משתמש סוכן? סוכן משתמש מציין שהבחירה מוחלת על כל הרובוטים באינטרנט. כוכבית (*) הוא מפעיל תווים כלליים המייצג סדרה של תווים. "Disallow:" אומר שהם יכולים לסרוק את דפי האתר השונים.

יש פורמטים שונים של קבצי robots.txt

גם לפעמים מנהלי אתרים רבים לבלבל בין פורמטים של קבצים robots.txt שונים. בואו נסתכל על פורמטים שונים. דוגמא -

* :User-agent

:Disallow

שאלה ראשונה שעולה, מה משמעות

* :User-agent

אפשר לשלול רק מרובוט מסוים או מכל הרובוטים לסרוק את האתר.

זה מציין, שהבחירה תיושם לכל רובוט באינטרנט.
הכוכבית, זה מפעיל כללי שמייצג סדרת תכונות

:Disallow

אומר שהם לא יכולים לזחול בדפים באתר

לפעמים וובמסטרים מתבלבלים בין צורות שונות של קובץ robots.txt בוא נראה את הפורמטים השונים:

אפשר גישה לכל הרובוטים וסורקים באינטרנט.

א. אפשר גישה לכל הרובוטים וסורקים באינטרנט

* :User-agent

/ :Allow

אימרה זו מאפשרת לכל רובוט,
לאנדקס כל דבר באתר.

אפשר לחסום את כל הרובוטים והסורקים באינטרנט.

ב. חסום את כל הרובוטים והסורקים באינטרנט

אם תכניס קו נטוי הפוך אחרי :Disallow

זה אומר שאתה חוסם אינדוקס של כל הדפים באתר לכל זוחל, שסורק באינטרנט

* :User-agent

/ :Disallow

המדריך המלא

הכול על Robots.Txt

מרין בר שלוה / יוני 2017 /

----------------------------------

גלה הכול על קובץ robots.txt ועל הפעולות הנרחבות בהן משתמשים לקובץ הזה. תוכל גם ליצור קובץ עם הגדרות משלך (קסטם) אחרי, שתבין את הנקודות במאמר הזה

מה זה קובץ Robots.txt?
קובץ Robots.txt משמש וובמסטרים למסירת הוראות לרובוטים ועכבישים (זוחלים) באינטרנט לגבי האתר.

קבל במתנה!

המדריך השלם לקידום אורגני

במדריך תגלה איך לקדם את האתר אורגני בכוחות עצמך ולגרום לגוגל לשים לב אליך

קבל במתנה צ'קליסט לדף מאמר מושלם

גלה את הפקודות בקובץ robots.txt

יש לך שאלות? אשמח לעזור.

ג. חסום תיקיה מסוימת מ סריקהפורמט זה משמש כד לחסום אינדוקס של תיקיה מסוימת

* :User-agent

/Disallow: /folder

ד. חסום רבוט או סורק מסוים מלזחול באתרבדוגמא לא מתאפשרת לגוגל-בוט זחילה באתר

User-agent: Google

/ :Disallow

ה. לחסום לסריקה את כל כתובות האתראם לדוגמא, ברצונך לחסום את כל כתובות האתרים עם "?" השתמש בפורמט זה

* :User-agent

?*/ :Disallow

ו. לחסום כתובות אתר ספציפיות לסריקה
ניתן להשתמש בתו מיוחד $ כדי לציין סיום של כתובת אתר ספציפית.

לדוגמה - אם רוצים לחסום אינדוקס של כתובות אתרים עם asp.
נשתמש בפורמט זה

User-agent: Googlebot

Disallow: /*.asp$ Exclude Unwanted Pages From Crawling

Robots.txt

יש פ

קבל במתנה את המדריך לשיווק באנרגיה מקסימלית, שיעזור לך להיות יעיל יותר בפעולות השיווק שלך.

הטמעת טופס מתנה

מתנה צ'קליסט ליצירת דף בית.

דף הקסם לאתר מושלם

תודה! אולי יעניין אותך לקרוא גם על:

איך clickit עוזרת לעסק שלך לצמוח?

תגלה איך לגרום לגוגל לשים לב לאתר שלך ולקדם אותו למקומות הראשונים. איך? תגלה את סודות הקידום. תדע איך המקדמים המקצועיים גורמים לדפים שלהם להופיע באתרים הראשונים.

ז. לחסום לסריקה דפים לא רצויים

אם יש לך אתר מסחרי תוכל להוציא את דפי הסליקה, התשלום או המידע מהאינדוקס.

לדוגמא -

* :User-agent

/ :Allow

Disallow: /checkout

Disallow: /cart

Disallow: /checkout/paymentinfo

בין אם יש לך אתר וורדפרס או אתר שנוצר בפלטפורמה אחרת שזמינה באינטרנט.

אתה יכול בקלות לא לכלול דף אינטרנט או תיקיה מסוימת מכל הרובוטים באינטרנט או מרובוט מסוים באמצעות קובץ robots.txt

תוכל לחסום גם עם Meta Noindex
תוכל להשתמש במטה רובוט תג זה כדי לציין איזה רובוטים באינטרנט יכולים לבקר בדף האינטרנט.

אבל הם לא יוסיפו את הדף בתוצאות החיפוש
תג מטה רובוט נחשב יעיל יותר מחסימה עם קובץ robots.txt