فایل robots.txt همانند نقشه راه و راهنمای ترافیک برای خزنده ها می باشد که در root سایت قرار می گیرد و به ربات ها می گوید که چه صفحاتی رو بررسی کنند و از خزش چه فایل هایی خودداری کنند. برای ساخت فایل روبوت، از قوانین استاندارد و مشخصی پیروی می شود که نادیده گرفتن آن‌ها می‌تواند منجر به مشکلات بزرگی شود. ویرایش این فایل در سایت های وردپرس بسیار راحت است و به کمک افزونه قابل تغییر است. در ادامه این مقاله، علاوه بر بررسی دقیق دستورات کلیدی و نحوه عملکرد آن ها، نمونه‌های استانداردی از فایل robots برای سایت‌های فروشگاهی و شرکتی آماده کرده‌ایم که می‌توانید مستقیماً از آن ها استفاده کنید.
robots.txt چیست
فایل robots.txt یک فایل متنی ساده و مهم است که در ریشه سایت قرار می گیرد و به ربات های موتورهای جستجو دستور می‌دهد کدام صفحات یا بخش‌هایی از وب سایت شما را می‌توانند بررسی کنند و کدام صفحه یا پوشه را نادیده بگیرد. با استفاده از فایل روبوت، مدیران وب سایت می‌توانند مشخص کنند که کدام قسمت ها از سایتشان برای خزنده موتور جستجو قابل دسترسی باشد و کدام قسمت‌ها مسدود شوند. این امر به ویژه برای سایت هایی که دارای محتوای خصوصی، صفحات تکراری، یا بخش‌هایی هستند که نمی‌خواهید در نتایج جستجو ظاهر شوند، اهمیت بالایی دارد. در واقع، این فایل اولین نقطه ای است که اکثر ربات‌های موتور جستجو پس از ورود به سایت شما به آن مراجعه می‌کنند تا دستورالعمل‌های لازم را دریافت نمایند.
فایل robots.txt کجاست
فایل robots.txt همیشه در دایرکتوری اصلی یا ریشه ( Root ) دامنه قرار دارد و برای دسترسی به آن کافی است نام دامنه خود را در مرورگر وارد کرده و در انتهای آن عبارت /robots.txt را بنویسید . اگر این فایل در مسیر دیگری قرار بگیرد، موتورهای جستجو آن را شناسایی نخواهند کرد.
در بیشتر سایت ها این فایل robots داخل پوشه اصلی هاست مانند public_html یا www قرار می‌گیرد. اگر از سیستم های مدیریت محتوا مانند وردپرس استفاده می‌کنید، ممکن است فایل به صورت فیزیکی وجود داشته باشد یا به شکل مجازی توسط وردپرس تولید شود.
ساخت فایل robots.txt
ساخت فایل robots.txt بسیار ساده است؛ شما تنها به یک ویرایشگر متن ساده مانند Notepad در ویندوز یا TextEdit در مک نیاز دارید تا دستورات خود را در قالب یک فایل با پسوند .txt یادداشت کنید. پس از نوشتن دستوراتِ دسترسی یا عدم دسترسی در فایل روبوت، کافی است فایل را با نام دقیق robots.txt ذخیره کرده و آن را در پوشه اصلی (Public_html) سایت خود از طریق پنل هاست یا FTP آپلود کنید.
هنگام ساخت فایل روبوت بهتر است فقط صفحاتی را مسدود کنید که واقعاً نیازی به خزش ندارند. همچنین افزودن آدرس نقشه سایت در انتهای فایل، به موتورهای جستجو کمک می‌کند صفحات مهم سایت را سریع‌تر پیدا کنند.
برای ساختن فایل Robots، نیازی به دانش کد نویسی پیچیده نیست؛ چرا که ساختار آن از قوانین استاندارد و مشخصی پیروی می‌کند که به راحتی قابل درک است. پس از آپلود، حتماً از طریق مرورگر تست کنید که آیا آدرس yourdomain.com/robots.txt به درستی محتوای شما را نمایش می‌دهد یا خیر، تا اطمینان حاصل کنید ربات ها بلافاصله پس از ورود به دامنه، دستورات شما را دریافت می‌کنند.
ویرایش فایل robots.txt
ویرایش فایل robots.txt به راحتی با دسترسی به مدیریت فایل (File Manager) هاست یا استفاده از افزونه های سئو در وردپرس امکان‌پذیر است تا بتوانید به سرعت قوانین خزش ربات ها را به روزرسانی کنید. پس از ورود به مسیر اصلی سایت، کافیست روی فایل موجود کلیک راست کرده و گزینه Edit یا Code Edit را انتخاب کنید؛ سپس تغییرات مورد نظر خود را اعمال کرده و فایل را ذخیره کنید تا بلافاصله برای ربات های گوگل و سایر موتورهای جستجو اعمال شود.
هنگام ویرایش این فایل، دقت داشته باشید که کوچک ترین اشتباه در درج آدرس‌ها یا دستورات، می‌تواند منجر به مسدود شدن دسترسی خزنده ها به صفحات مهم یا کل سایت شما شود. پیشنهاد می‌شود همواره قبل از اعمال هرگونه تغییر در فایل روبوت، یک نسخه پشتیبان از فایل فعلی تهیه کنید و پس از ویرایش، با استفاده از ابزار “Robots.txt Tester” در گوگل سرچ کنسول صحت کدهای خود را بررسی نمایید تا از بروز خطا های احتمالیجلوگیری کنید.
خطرات ویرایش اشتباه در فایل robots.txt
خطرات ویرایش اشتباه در فایل robots.txt می‌تواند بسیار جبران ناپذیر باشد، زیرا یک دستور نادرست (مانند دستور Disallow: /) می‌تواند دسترسی تمام خزنده‌ها به کل سایت شما را مسدود کرده و باعث حذف کامل صفحات از نتایج جستجو شود. زمانی که ربات های موتورهای جستجو با برخورد به این دستور، اجازه ورود به بخش های حیاتی سایت را پیدا نکنند، فرآیند ایندکس سایت متوقف شده و در نتیجه، ترافیک ارگانیک شما به سرعت سقوط خواهد کرد.
در اثر اعمال تنظیمات غلط فایل robots، حتی اگر سایت شما از نظر فنی سالم باشد، در چشم موتورهای جستجو به عنوان یک سایت “غیرقابل دسترس” یا “بدون محتوا” شناخته می‌شود که این امر آسیب عمیقی به اعتبار دامنه و رتبه عبارات می‌زند. از آنجایی که بازگشت صفحات حذف شده به نتایج جستجو زمان بر است، هرگونه اشتباه در این فایل می‌تواند ماه ها فرصت های تجاری و بازدیدکنندگان احتمالی را از شما بگیرد؛ بنابراین، همیشه بررسی دقیق دستورات پیش از ذخیره‌سازی، یک ضرورت حیاتی است.
فایل robots.txt وردپرس
فایل robots.txt وردپرس به صورت خودکار توسط خودِ هسته این سیستم مدیریت محتوا ایجاد و مدیریت می‌شود، به طوری که شما حتی بدون داشتن فایل فیزیکی در هاست، یک نسخه مجازی در آدرس domain.com/robots.txt در اختیار دارید. وردپرس به صورت پیش فرض دستورات استانداردی را برای محافظت از بخش های حساس مانند پوشه wp-admin (به جز فایل admin-ajax.php) تنظیم می‌کند تا از خزش بی‌مورد بخش های مدیریتی توسط ربات ها جلوگیری شود.
با این حال، اگر می‌خواهید کنترل بیشتری بر فایل روبوت داشته باشید، می‌توانید از طریق افزونه‌های محبوب سئوی وردپرس مانند Yoast SEO یا Rank Math، این فایل را به راحتی و بدون نیاز به ورود به File Manager هاست ویرایش کنید. این روش بسیار ایمن تر از ویرایش مستقیم فایل در هاست است، زیرا احتمال بروز خطاهای نوشتاری که منجر به مسدود شدن کل سایت شود را به حداقل می‌رساند.
نحوه ویرایش فایل robots.txt با افزونه Yoast SEO و Rank Math
نحوه ویرایش فایل robots.txt با افزونه Yoast SEO و Rank Math بسیار ساده و کاربرپسند است، به طوری که بدون نیاز به دانش فنی یا دسترسی به فایل‌های هاست، می‌توانید قوانین خزش سایت خود را مدیریت کنید.
ویرایش فایل robots.txt با افزونه Yoast SEO
در افزونه Yoast SEO، برای اصلاح و ویرایش فایل robots باید به قسمت Tools در افزونه یواست بروید و سپس گزینه File Editor را انتخاب کنید؛ در اینجا یک ویرایشگر متنی در اختیار شما قرار می‌گیرد تا بتوانید دستورات خود را مستقیماً در فایل مجازی وردپرس اعمال و ذخیره نمایید.
ویرایش فایل robots.txt با افزونه Rank Math
ویرایش فایل robots.txt با افزونه Rank Math نیز فرآیند مشابه اما با محیطی متفاوت است؛ کافی است به منوی General Settings در رنک مث رفته و بخش Edit robots.txt را پیدا کنید تا بتوانید قوانین جدیدی را برای هدایت ربات‌ها اضافه کنید.
استفاده از این دو افزونه محبوب، نه تنها امنیت سایت شما را در برابر اشتباهات ویرایشی افزایش می‌دهد، بلکه امکان تست سریع و مشاهده تغییرات را نیز فراهم می‌کند، که این موضوع برای مدیران سایت‌هایی که به دنبال بهینه‌سازی مداوم سئو هستند، یک مزیت بزرگ محسوب می‌شود.
نمونه فایل robots.txt
نمونه فایل robots.txt به کاربران کمک می‌کند تا بدون نیاز به حفظ کردن دستورات پیچیده، ساختار صحیح فایل روبوتس را درک کرده و از اشتباهات رایج جلوگیری کنند. از آنجایی که هر وبسایت با توجه به ساختار و نیازهای خود؛ مانند فروشگاه‌های اینترنتی، سایت‌های خبری یا وبلاگ‌های شخصی نیاز به قوانین متفاوتی دارد، ارائه چندین مدل استاندارد، ارزش آموزشی مقاله شما را دوچندان می‌کند.
نمونه فایل robots.txt برای سایت‌های شرکتی
این نمونه فایل robots.txt برای سایت‌هایی که نیاز به محدودیت خاصی ندارند اما می‌خواهند از خزش بخش‌های مدیریتی جلوگیری کنند، مناسب است. User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.yourdomain.com/sitemap_index.xml
در این نمونه فایل robots ، تمامی ربات ها اجازه دسترسی دارند اما ورود به پوشه مدیریت مسدود شده است.
نمونه فایل robots.txt برای فروشگاه‌های اینترنتی
فروشگاه‌ها معمولاً با مشکل “محتوای تکراری” (Duplicate Content) ناشی از فیلترها و پارامترهای جستجو روبرو هستند. این نمونه فایل robots.txt به جلوگیری از این مشکل کمک می‌کند.
User-agent: *
Disallow: /wp-admin/
Disallow: /checkout/
Disallow: /cart/
Disallow: /my-account/
Disallow: /*?orderby=
Disallow: /*?filter=
Sitemap: https://www.yourdomain.com/sitemap_index.xml
در این نمونه فایل روبوت ، بخش‌های مربوط به سبد خرید، تسویه حساب و لینک‌هایی که بر اساس فیلترها (مانند مرتب‌سازی قیمت) ایجاد می‌شوند.
نحوه عملکرد robots.txt
درک نحوه عملکرد robots.txt به شما کمک می‌کند تا به عنوان مدیر سایت، هوشمندانه تر با خزنده ها تعامل کنید. برخلاف تصور عموم، فایل robots.txt یک “دیوار غیرقابل نفوذ” نیست؛ بلکه بیشتر شبیه به یک تابلوی راهنما یا درخواست مودبانه است که موتورهای جستجو به آن احترام می‌گذارند. زمانی که خزنده ها وارد سایت شما می‌شود، قبل از بررسی هر صفحه یا تصویری، ابتدا به سراغ robots.txt می‌رود تا ببیند آیا قوانین خاصی برای دسترسی به بخش‌های مختلف سایت وضع شده است یا خیر.
سه بخش اصلی فایل robots.txt برای عملکرد روی سایت
- User-agent (چه کسی؟): در این بخش مشخص می‌کنید که قوانین برای کدام ربات تعریف شده است. علامت ستاره (*) به معنای “همه ربات‌ها” است. اگر نام ربات خاصی (مثل Googlebot) را بنویسید، دستورات فقط برای همان ربات اجرا می‌شوند.
- Disallow (ممنوعیت): این دستور به ربات می‌گوید که وارد مسیرهای مشخص شده نشود. برای مثال، Disallow: /private/ یعنی ربات‌ها اجازه ندارند محتویات پوشه private را کراول کنند.
- Allow (اجازه): این دستور برای باز کردن دسترسی به فایل‌ها یا زیرپوشه‌های خاصی است که در دل یک مسیر مسدود شده قرار دارند (مثلاً برای اجازه دادن به اسکریپت‌های خاص در پوشه مسدود شده wp-admin).
تفاوت دستورات robots.txt و متا تگ noindex
تفاوت دستورات robots.txt و متاتگ noindex در نحوه عملکرد و نتایج نهایی این دو دستور است. اگر یک صفحه را ابتدا در robots.txt مسدود کنید (Disallow) و سپس بخواهید در همان صفحه از تگ noindex استفاده کنید، گوگل هرگز به صفحه شما نمی‌رسد تا تگ noindex را ببیند! در نتیجه صفحه شما از طریق لینک های دیگر همچنان در گوگل باقی می ماند. نوایندکس شدن صفحات در AI Visibility نیز موثر است و هیچ گاه محتوای شما قابلیت نمایش در پاسخ هوش مصنوعی را نخواخهد داشت.
راه حل: اگر هدف حذف از گوگل است، ابتدا دسترسی را در robots.txt باز بگذارید، تگ noindex را اضافه کنید و پس از حذف شدن صفحه از گوگل، در صورت نیاز آن را به robots.txt برگردانید.
در جدول زیر می توانید تفاوت فایل robots.txt و متاتگ noindex را بررسی کنید:
| ویژگی | دستور robots.txt | متاتگ noindex |
|---|---|---|
| هدف اصلی | مدیریت بودجه خزش (Crawl Budget) | مدیریت نمایه‌سازی (Indexing) |
| پیام به ربات | «وارد این مسیر نشو و محتوا را نخوان!» | «محتوا را بخوان، اما در گوگل نشان نده!» |
| دسترسی به محتوا | ربات اجازه ورود و خواندن محتوا را ندارد. | ربات اجازه ورود و خواندن محتوا را دارد. |
| حذف از نتایج گوگل | تضمین نمی‌کند. (ممکن است صفحه با ظاهر ناقص در نتایج بماند) | تضمین می‌کند. (صفحه کاملاً از نتایج حذف می‌شود) |
| اثر بر Crawl Budget | بسیار عالی برای صرفه‌جویی در منابع سرور و وقت ربات‌ها. | کمتر مؤثر است (چون ربات باید وارد صفحه شود تا دستور را بخواند). |
| بهترین کاربرد | مسدود کردن پوشه‌های سیستمی، فایل‌های حساس، و مسیرهای تکراری. | مسدود کردن صفحات محصول، صفحات تست، یا صفحات شخصی کاربران. |
اهمیت فایل robots.txt
اهمیت فایل robots.txt در مدیریت خزش، جلوگیری از اتلاف کرال باجت و هدایت ربات‌ها به صفحات مهم است. این فایل به موتورهای جستجو کمک می‌کند زمان بیشتری را صرف محتوای ارزشمند سایت کنند. علاوه بر بهبود عملکرد خزش، استفاده صحیح از robots باعث می‌شود صفحات کم اهمیت مانند پوشه های سیستمی یا بخش های تکراری کمتر مورد بررسی قرار گیرند.
انواع دستورات robots.txt
انواع دستورات robots.txt شامل دستوراتی مانند User-agent، Disallow، Allow، Sitemap و Crawl-delay است که هر کدام وظیفه مشخصی در کنترل رفتار خزنده‌ها دارند. توجه داشته باشید که همه موتورهای جستجو از تمام دستورات پشتیبانی نمی‌کنند.
| دستور | کاربرد | مثال |
|---|---|---|
| User-agent | تعیین هدف (کدام ربات) | User-agent: Googlebot |
| Disallow | جلوگیری از ورود به مسیر | Disallow: /login/ |
| Allow | اجازه ورود به یک مسیر خاص در پوشه مسدود | Allow: /private/public.html |
| Sitemap | معرفی نقشه سایت | Sitemap: /sitemap.xml |
| * (Wildcard) | جایگزین برای هر تعداد کاراکتر | Disallow: /category/* |
| $ (End anchor) | تعیین انتهای دقیق آدرس | Disallow: /*.html$ |
دستورات پر کاربرد فایل robots.txt
دستورات پر کاربرد فایل robots.txt برای مدیران سایت بسیار حیاتی و مهم است. بسیاری از مدیران سایت‌ها به دنبال این هستند که بدانند در شرایط خاص، چه دستوری را باید بنویسند. در اینجا رایج‌ترین الگوهایی از فایل robots.txt که در سایت‌های بزرگ استفاده می‌شود را برای شما آماده کرده‌ایم:
مسدود کردن پارامترهای جستجو و فیلتر فروشگاه ها در فایل robots.txt
در سایت‌های فروشگاهی وقتی کاربر فیلتر می‌کند (مثلاً انتخاب رنگ یا قیمت)، آدرس URL تغییر می‌کند و پارامترهایی مثل ?color= یا ?price= به آن اضافه می‌شود. این صفحات باعث ایجاد هزاران URL تکراری می‌شوند.
Disallow: /*?*
این دستور تمام آدرس‌هایی که شامل علامت سوال هستند (پارامترها) را مسدود می‌کند.
مدیریت پوشه‌های سیستمی وردپرس و سایر CMSها
اگر از وردپرس استفاده می‌کنید، نباید اجازه دهید ربات‌ها وقت خود را در پوشه‌های مدیریتی یا فایل‌های هسته سایت تلف کنند.
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
نکته: فایل admin-ajax.php حتماً باید باز باشد (Allow) چون بسیاری از قالب‌ها برای نمایش صحیح محتوا به آن نیاز دارند.
مسدود کردن صفحات جستجوی داخلی سایت
صفحات نتیجه جستجوی داخلی سایت شما (Internal Search Results) معمولاً ارزش سئویی ندارند و فقط باعث هدر رفتن بودجه خزش می‌شوند؛ بنابراین در فایل robots.txt آن را مسدود می کنیم:
Disallow: /search/
Disallow: /query/
جلوگیری از ایندکس شدن فایل‌های حساس و لوگ ها
گاهی اوقات فایل‌های با پسوند خاص مثل PDFهای شخصی یا فایل‌های تنظیمات نباید در نتایج جستجو ظاهر شوند.
Disallow: /*.pdf$
Disallow: /*.zip$
مزایا و معایب فایل robots.txt
مزایا و معایب فایل robots.txt این است که از یک سو مدیریت خزش را بهبود می‌دهد و از سوی دیگر در صورت تنظیم اشتباه می‌تواند باعث کاهش دیده شدن صفحات مهم شود. بنابراین استفاده از آن باید با دقت انجام گیرد.
مزایا فایل robots.txt
بزرگترین مزیت فایل robots.txt این است که جلوی هدر رفتن وقت ربات‌های گوگل را می‌گیرید. با بستن مسیرهای بی‌ارزش، گوگل مجبور می‌شود زمان بیشتری را صرف صفحات اصلی و ارزشمند شما کند.
- جلوگیری از تولید محتوای تکراری (Duplicate Content): با مسدود کردن پارامترهای URL (مثل فیلترهای قیمت یا رنگ)، از ایجاد هزاران نسخه مشابه از یک صفحه جلوگیری می‌کنید که یکی از عوامل کاهش رتبه سئو است.
- کاهش فشار روی سرور (Server Load): اگر سایت شما بسیار پربازدید است یا سرور ضعیفی دارید، اجازه ندادن به ربات‌های مختلف برای خزش بی‌رویه در تمام بخش‌ها، می‌تواند فشار روی منابع سرور شما را کاهش دهد.
- هدایت هوشمندانه ربات‌ها: شما می‌توانید با معرفی Sitemap در این فایل، به ربات‌ها یک نقشه راه سریع و مستقیم برای پیدا کردن محتوای جدید ارائه دهید.
معایب فایل robots.txt
- خطر مسدود کردن صفحات مهم (Accidental Blocking): بزرگترین ریسک این است که به دلیل یک اشتباه کوچک در نوشتن دستور (مثلاً استفاده اشتباه از ستاره *)، کل بخش اصلی سایت یا صفحات پربازدودی که می‌خواهید در گوگل باشند را مسدود کنید.
- عدم تضمین حذف از نتایج گوگل: همان‌طور که قبلاً اشاره شد، robots.txt فقط جلوی ورود ربات را می‌گیرد، نه جلوی نمایش صفحه در گوگل را. اگر یک صفحه از طریق لینک‌های دیگر به گوگل معرفی شده باشد، ممکن است همچنان در نتایج بماند (اما بدون توضیحات یا با ظاهر ناقص).
- محدودیت در مشاهده محتوا توسط گوگل: اگر فایل‌های CSS یا JavaScript خود را مسدود کنید، گوگل نمی‌تواند ظاهر و کارکرد سایت شما را به درستی درک کند. این موضوع باعث می‌شود سایت شما در تست‌های گوگل (مثل Mobile-Friendly) امتیاز منفی بگیرد.
- قابلیت مشاهده توسط همگان: فایل robots.txt یک فایل عمومی است. هر کسی با اضافه کردن /robots.txt به انتهای آدرس سایت شما، می‌تواند بفهمد که شما چه پوشه‌هایی را مخفی کرده‌اید. بنابراین هرگز نباید از این فایل برای مخفی کردن اطلاعات واقعاً حساس (مثل پسوردها یا اطلاعات شخصی) استفاده کنید؛ برای این کار باید از روش‌های امنیتی دیگر استفاده کنید.
بیشتر بخوانید: FID چیست؟
در پایان
باید بگوییم که فایل robots.txt مانند یک راهنما برای ربات های گوگل عمل می‌کند. با استفاده درست از این فایل می توانید به خزنده ها دستور بدید که چه صفحه و پوشایی را بررسی کنه و از کرال چه صفحاتی خودداری کند. ما در مجموعه وب آوا برای هر وبسایت فایلی حرفه ای و تخصصی می سازیم تا به بهینه سازی سایت شما کمک کند. در صورتی که دارای سایت هستید و می خواهید این فایل را ویرایش کنید؛ اما در نحوه ساخت آن تردید دارید، می توانید از کارشناسان حرفه ای ما کمک بگیرید.