اگر صفحه يا مطالبي داريد كه علاقه مند نيستيد در نتايج جستجوي گوگل ظاهر شود، به يكي از روش‌هاي زير عمل كنيد:

• اگر نياز داريد كه فايل هايتان روي سرور باشد مي توانيد با گذاشتن پسورد جلوي دسترسي ديگران به آنها را بگيريد لذا روبوت  گوگل و ديگر موتورهاي جستجو نمي توانند به اين مطالب دسترسي داشته باشند. اين ساده ترين و موثرترين راه براي جلوگيري از ايندكس شدن مطالبتان توسط گوگل و … مي باشد. اگر از سرور وب آپاچي استفاده مي كنيد، مي توانيد .htaccess را با گذاشتن پسورد روي پوشه سرور خودتان ويرايش كنيد. ابزارهاي بسياري در وب موجود است كه با كمك آنها مي توانيد اينكار را انجام دهيد.
• از يك robots.txt براي كنترل دسترسي به فايل ها و پوشه هاي سرورتان استفاده كنيد. فايل robots.txt شبيه سيستم الكترونيكي هوشمند ورود به سيستم مي باشد كه به روبوت گوگل و … مي گويد كه فايل ها و پوشه هاي اين سرور نبايد جستجو شوند.

براي استفاده از فايل robots.txt شما بايستي به قسمت روت هاست خود دسترسي داشته باشيد (اگر مطمئن نيستيد، از ميزبان سايت خود بپرسيد). اگر به روت دامنه خود دسترسي نداريد، مي توانيد با استفاده از روبوت هاي meta tag در صفحات يكتاي سايت ايجاد محدوديت نماييد.

مهم است توجه داشته باشيد كه حتي اگر از يك فايل robots.txt براي بلاك كردن جستجوگرها استفاده نماييد، گوگل مي تواند از راه هاي ديگري مطالب شما را پيدا و آنها را ايندكس نمايد. به عنوان مثال ممكن است سايت هاي ديگر به مطالب شما ارجاع دهند. آدرس صفحه و بصورت بالقوه ديگر اطلاعات عمومي مانند anchor text در لينك هاي ارجاعي به سايت و يا عنوان در Open Directory Project مي توانند در نتايج جستجوي گوگل ظاهر شوند. به علاوه اگر همه ي روبوت هاي معتبر به اطلاعات فايل robots.txt استناد كنند، امكان دارد تعدادي از روبوت ها آنها را به گونه اي ديگر استنتاج نمايند. با اين حال، يك robots.txt قابل اجرا نيست و ممكن است بعضي از اسپم كننده ها و ديگر مزاحمين آن را ناديده بگيرند. به اين دليل، پيشنهاد مي كنيم از پسورد امنيتي كه در بالا آمد استفاده نماييد (مطلب بالا را ببينيد).

• استفاده از متا تگ noindex براي جلوگيري از ظاهرشدن مطالب در نتايج جستجوي گوگل. وقتي كه گوگل تگ متا noindex را در  صفحه اي مي بيند، بصورت كامل آن صفحه را نتايج جستجو كنار مي گذارد. حتي اگر ساير سايت ها به آن لينك داده باشند. اگر مطلب در حال حاضر در ديتابيس گوگل باشد، گوگل آنرا در جستجوي بعدي سايت خارج مي كند. (براي تسريع در فرايند خارج سازي، از ابزار خارج سازي آدرس در وبمستر گوگل استفاده كنيد). ساير موتورهاي جستجوگر ممكن است از روش هاي ديگري استفاده نمايند. يعني امكان دارد مطلب موردنظر شما در نتايج جستجو آنها ظاهر شود.

چون ما سايت شما را براي ديدن تگ noindex جستجو مي كنيم لذا احتمال كمي وجود دارد كه روبوت گوگل تگ متا noindex را نبيند.

منبع: نيوسئو