آموزش ساخت فایل robots.txt

با سلام امروز به بررسی ساخت فایل robots.txt می پردازیم

قبل از شروع خدمت شما عرض کنم فایل ربات برای تمامی سایت ها باید وجود داشته باشه چرا که این فایل می تونه شاهرگ اصلی سئو سایت شما باشد. این فایل به موتورهای جستجو کمک می کند تا محتوای که نباید ایندکس بشود را در جستجو های خود نمایش ندهند و خوبی این کار این می باشد که اجازه نمی دهد تا همه ی محتوای سایت شما توسط ربات های جستجو برداشته شود.

اما روش ساخته این فایل بسیار آسان می باشد و شما بدون نیاز به هیچگونه مهارتی به راحتی می توانید این فایل را بسازید.

من پیشنهاد می کنم اگر از وردپرس استفاده می کنید از افزونه ی irobots.txt برای ساخت فایل ربات استفاده نمایید.

اما آموزش ساخت :

ابتدا نرم افزار نود پد که بر روی تمامی سیستم عامل به صورت پیشفرض موجود می باشد را باز نمایید.

سپس عبارت زیر را درون آن تایپ نمایید و یا کپی کنید:

User-agent:

خوب حال جلو همین نوشته علامت ستاره (*) را قرار دهید به صورت زیر :

User-agent: *
شما با این کار به تمامی موتور های جستجو اجازه ایندکس کردن تمامی قسمت های سایت رو می دید

حال ما نمی خواهیم یکسری از قسمت های سایت ایندکس بشه نوبت آن رسیده است که این قسمت ها رو مشخص کنید

عبارت زیر را در زیر عبارت بالا بنویسید

Disallow:
تنها کافیست بخش های رو که نمی خواهید ایندکس بشن رو آدرسش رو این جا بنویسید

فرض کنید من نمی خواهم بخش wp-admin سایتم ایندکس بشه به صورت زیر می نویسم

Disallow: /wp-admin/

خوب به همین روش تمامی قسمت های سایتتون رو که نمی خواهید ایندکس بشن رو قرار بدین

فقط میمونه اضافه کردن نقشه سایت به فایل ربات تنها کافیه در آخر عبارت زیر را وارد نمایید

به جای aniseo.ir نام سایت خود را بنویسید

Sitemap: http://aniseo.ir/sitemap.xml/

البته فرقی نمی کنه این عبارت رو اول فایل ربات بنویسید و یا آخر آن به هرحال بهتره که باشه وجود داشته باشه

برای درک بهتره می تونید فایل ربات سایت ما رو ببنید ولی کپی نکنید چرا که این فایل اختصاصی نوشته شده برای سایت ما ممکن است برای سایت شما مشکل به وجود آورد

و ورودی گوگل شما رو پایین بیارد

www.aniseo.ir/robots.txt

منبع: آنی سئو