האם חובה לשים קובץ robots.txt באתר

מקדמי אתרים המתמחים בקידום אורגני מכירים את כל הדרכים השונות באמצעותן גוגל יסרוק דפים מאתר האינטרנט המקודם ויציג אותם בתוצאות החיפוש של שאילתות רלוונטיות במקום הגבוה ביותר שניתן. עם זאת, לעיתים נרצה כמקדמי אתרים או בעלי אתרים שדפים מסוימים באתר האינטרנט שלנו דווקא לא ייסרקו על ידי גוגל ושלא יופיעו בתוצאות חיפוש. למטרה זו קיימים אמצעים שונים לחסימת דפים מסוימים ממנועי חיפוש הזמינים עבורנו בזמן בניית אתר וורדפרס.

 

מה זה קובץ robots.txt וכיצד הוא קשור לחסימת דפים ממנועי חיפוש?

קובץ robot.txt יושב על התיקייה הראשית באתר ומטרתו לכוון את גוגל ומנועי חיפוש אחרים לגבי הדפים באתר אותם יש לסרוק ולהעלות בתוצאות חיפוש והדפים שאותם אין לסרוק ולהעלות בתוצאות חיפוש. למעשה, השימוש בקובץ זה הוא בעיקר לחסימת אזורים באתר בהם אנחנו לא מעוניינים שמנועי החיפוש יבקרו ויסרקו.

 

מדוע שנרצה לחסום דפים באתר עבור מנועי חיפוש?

כל בעלים של אתר ומקדם אורגני יודע כי המטרה המרכזית היא שהאתר שלנו יופיע כמה שיותר גבוה בתוצאות החיפוש בגוגל, וחסימה של דפים מסוימים באתר למנועי החיפוש לא ממש הולמת מטרה זו. אם כך, מדוע שנרצה לחסום אזורים באתר עבור גוגל?

לכך יש מספר תשובות עיקריות:

1. ישנם אזורים שלא נרצה שמנועי החיפוש יבקרו בהם כי הם לא רלוונטיים לציבור הגולשים הרחב, אלא רלוונטיים עבורנו בלבד כבעלי ומפתחי האתר. דפים כאלה יכולים להיות תיקיות ניהול של המערכת וסקריפטים שונים.
2. כאשר האתר נמצא בבנייה נרצה לחסום חלקים מסוימים ממנו לגולשים, וקובץ רובוטס יסייע לנו בכך.
3. במקרים מסוימים נרצה גם לחסום עבור מנועי חיפוש אזורים הנגישים למשתמשים.

 

האם חובה להתמש בקובץ robots.txt באתר?

אין שום חובה כזו. אם אין לנו באתר אזורים או דפים שאנחנו מעוניינים לחסום למנועי חיפוש או משתמשים אז אין סיבה להשתמש בקובץ רובוטס.

 

כיצד ניתן לבדוק תקינותו של קובץ robots.txt?

ניתן לבדוק את תקינות הקובץ באמצעות הקונסול של גוגל, במידה והאתר שלנו מחובר אליו.

 

מגבלות קובץ robots.txt

כאשר אתם עושים שימוש בקובץ רובוטס חשוב להכיר את מגבלותיו:

1. לא כל מנועי החיפוש מצייתים להנחיות בקובץ הרובוטס.
2. סורקים שונים מפרשים באופן שונה את ההנחיות בקובץ, ולכן יש להתאים את הסינטקס עבור הסורק.
3. עמוד החסום ברובוטס עדיין עשוי להופיע באינדקס אם יש קישור אליו מאתרים אחרים ברשת.
4. גוגל תומכת בקבצי רובוטס עד משקל של 512 קילובייטס, וייתכן ולא תציית להנחיות מעבר למשקל זה.

 

היכן ניתן למצוא חברה מומלצת לבניית וקידום אתרים?

חברת DWEB היא חברה המתמחה בבנייה וקידום של אתרי אינטרנט ומציעה אפשרויות רבות וכן מענים מגוונים לכל אתגר שיעלה בפניכם. DWEB מציעה מגוון שירותים הקשורים לבניית אתרים תחת קורת גג אחת, ותסייע לכם לקחת את האתר לרמה אחרת ללא דמי ניהול חודשיים ובמחירים הנוחים בשוק.