אתה יכול להורות לרובוטים האינטרנטיים ולסורקים איך לסרוק את האתר שלך.
קידום בפייסבוק
קידום בגוגל
מה עדיף!
זה גם נקרא גם פרוטוקול אי הכללת רובוטים
robots exclusion protocol.
אתה יכול להורות לרובוטים האינטרנטיים ולסורקים איך לסרוק את האתר שלך.
כשרובוט אינטרנט או סורק מבקר באתר, הוא מחפש את ההרשאה מ - robots.txt.
אפשר להורות לרובוטים לא לסרוק את האתר.
לדוגמא
משתמש סוכן: *
אי הרשאה:
שאלה, שהכי נשאלת - מה עושה משתמש סוכן? סוכן משתמש מציין שהבחירה מוחלת על כל הרובוטים באינטרנט. כוכבית (*) הוא מפעיל תווים כלליים המייצג סדרה של תווים. "Disallow:" אומר שהם יכולים לסרוק את דפי האתר השונים.
יש פורמטים שונים של קבצי robots.txt
גם לפעמים מנהלי אתרים רבים לבלבל בין פורמטים של קבצים robots.txt שונים. בואו נסתכל על פורמטים שונים. דוגמא -
* :User-agent
:Disallow
שאלה ראשונה שעולה, מה משמעות
* :User-agent
אפשר לשלול רק מרובוט מסוים או מכל הרובוטים לסרוק את האתר.
זה מציין, שהבחירה תיושם לכל רובוט באינטרנט.
הכוכבית, זה מפעיל כללי שמייצג סדרת תכונות
:Disallow
אומר שהם לא יכולים לזחול בדפים באתר
לפעמים וובמסטרים מתבלבלים בין צורות שונות של קובץ robots.txt בוא נראה את הפורמטים השונים:
אפשר גישה לכל הרובוטים וסורקים באינטרנט.
א. אפשר גישה לכל הרובוטים וסורקים באינטרנט
* :User-agent
/ :Allow
אימרה זו מאפשרת לכל רובוט,
לאנדקס כל דבר באתר.
אפשר לחסום את כל הרובוטים והסורקים באינטרנט.
ב. חסום את כל הרובוטים והסורקים באינטרנט
אם תכניס קו נטוי הפוך אחרי :Disallow
זה אומר שאתה חוסם אינדוקס של כל הדפים באתר לכל זוחל, שסורק באינטרנט
* :User-agent
/ :Disallow
המדריך המלא
הכול על Robots.Txt
מרין בר שלוה / יוני 2017 /
----------------------------------
גלה הכול על קובץ robots.txt ועל הפעולות הנרחבות בהן משתמשים לקובץ הזה. תוכל גם ליצור קובץ עם הגדרות משלך (קסטם) אחרי, שתבין את הנקודות במאמר הזה
מה זה קובץ Robots.txt?
קובץ Robots.txt משמש וובמסטרים למסירת הוראות לרובוטים ועכבישים (זוחלים) באינטרנט לגבי האתר.
קבל במתנה!
המדריך השלם לקידום אורגני
במדריך תגלה איך לקדם את האתר אורגני בכוחות עצמך ולגרום לגוגל לשים לב אליך
קבל במתנה צ'קליסט לדף מאמר מושלם
גלה את הפקודות בקובץ robots.txt
יש לך שאלות? אשמח לעזור.
ג. חסום תיקיה מסוימת מ סריקהפורמט זה משמש כד לחסום אינדוקס של תיקיה מסוימת
* :User-agent
/Disallow: /folder
ד. חסום רבוט או סורק מסוים מלזחול באתרבדוגמא לא מתאפשרת לגוגל-בוט זחילה באתר
User-agent: Google
/ :Disallow
ה. לחסום לסריקה את כל כתובות האתראם לדוגמא, ברצונך לחסום את כל כתובות האתרים עם "?" השתמש בפורמט זה
* :User-agent
?*/ :Disallow
ו. לחסום כתובות אתר ספציפיות לסריקה
ניתן להשתמש בתו מיוחד $ כדי לציין סיום של כתובת אתר ספציפית.
לדוגמה - אם רוצים לחסום אינדוקס של כתובות אתרים עם asp.
נשתמש בפורמט זה
User-agent: Googlebot
Disallow: /*.asp$ Exclude Unwanted Pages From Crawling
Robots.txt
יש פ
קבל במתנה את המדריך לשיווק באנרגיה מקסימלית, שיעזור לך להיות יעיל יותר בפעולות השיווק שלך.
הטמעת טופס מתנה
מתנה צ'קליסט ליצירת דף בית.
דף הקסם לאתר מושלם
תודה! אולי יעניין אותך לקרוא גם על:
איך clickit עוזרת לעסק שלך לצמוח?
תגלה איך לגרום לגוגל לשים לב לאתר שלך ולקדם אותו למקומות הראשונים. איך? תגלה את סודות הקידום. תדע איך המקדמים המקצועיים גורמים לדפים שלהם להופיע באתרים הראשונים.
ז. לחסום לסריקה דפים לא רצויים
אם יש לך אתר מסחרי תוכל להוציא את דפי הסליקה, התשלום או המידע מהאינדוקס.
לדוגמא -
* :User-agent
/ :Allow
Disallow: /checkout
Disallow: /cart
Disallow: /checkout/paymentinfo
בין אם יש לך אתר וורדפרס או אתר שנוצר בפלטפורמה אחרת שזמינה באינטרנט.
אתה יכול בקלות לא לכלול דף אינטרנט או תיקיה מסוימת מכל הרובוטים באינטרנט או מרובוט מסוים באמצעות קובץ robots.txt
תוכל לחסום גם עם Meta Noindex
תוכל להשתמש במטה רובוט תג זה כדי לציין איזה רובוטים באינטרנט יכולים לבקר בדף האינטרנט.
אבל הם לא יוסיפו את הדף בתוצאות החיפוש
תג מטה רובוט נחשב יעיל יותר מחסימה עם קובץ robots.txt
תג מטא רובוטים יכול רק לחסום את האינדוקס, הזוחל עדיין יכול לסרוק את דף האינטרנט.
אם דף האינטרנט מכיל קישורים שמעבירים מיץ-של-קישור,
אפשר יהיה לזחול בו אפילו אם מופעל מטה תג רובוט.
ממליצה להציץ בקישור זה למידע נוסף
מדריך עם הספר
המדריך השלם לקידום אורגני
מאתר לנכס בשנה בעצמך
איך להעלות את כמות הקניות באתר
מה גורם ללקוח לסמוך על האתר שלך
המשווק העצלן. הדרכה
במדריך תגלה איך לקדם את האתר אורגני בכוחות עצמך ולגרום לגוגל לשים לב אליך
דפי הקסם ליצירת אתר מושלם
מאתר לנכס בשנה בעצמך
חווית גלישה
הפצת תוכן
כתיבה
תכנון
מחקר
צעד ראשון
צעד ראשון
