تارنما مپ به موتورهای کاوش علامت تولید محتوا در مشهد می دهد محتواهای اساسی وب سایت شما در کجا قرار دارا هستند، به این‌ترتیب موتورهای کاوش میتوانند مطالب تارنما شما‌را خزش و ایندکس نمایند. فولدر وبسایت مپ را می توانید در یکی نشانی‌های ذیل پیدا نمائید:
sitemap.xml/
sitemap_index.xml/
sitemap/
ایجاد کرد پوشه ROBOT.TXT: فولدر ROBOT.TXT یک فولدر متنی میباشد که به موتورهای کاوش اعلام می‌نماید به چه بخش‌هایی از تارنما شما می توانند رمز بزنند و به کدام بخش‌ها اذن سرزدن ندارند. داشتن فولدر ROBOT.TXT برای هر سایتی اثرگذار میباشد ولی در حالتی که صفحاتی در وبسایت‌تان دارید که نمی خواهید به وسیله موتورهای کاوش خزش شوند، بایستی مسلما پوشه ROBOT.TXT را در وبسایت‌تان بسازید. از جمله در تارنما‌های فروشگاهی نیازی به خزش صفحه های خرید و پرداخت و... بوسیله موتورهای کاوش وجود ندارد و این صفحه ها بایستی مسدود شوند. با مراجعه به نشانی yourdomain.com/robots.txt میتوانید وجود پوشه ROBOT.TXT در وب سایت خویش را محاسبه نمایید. در صورتی در‌این نشانی چیزی نیست، قطعا به امداد ابزارهای آنلاینی که برای ایجاد کرد پوشه ROBOT.TXT وجود داراست، آن را بسازید و در وبسایت‌تان قرار دهید.
موضوعات مرتبط:
برچسب‌ها: