Calm Hill My Random Thoughts

How to prevent indexing of our website from searh engines?

CBox မှာအော်ထားတာတွေ့လို့ ရေးထားလိုက်ပါတယ်။ ခပ်တည်တည်နဲ့ကိုယ်က Search Engine တွေကို ဘန်းထားတယ်လို့ပြောတာ တစ်ကယ်တမ်းက သူတို့ကိုဘန်းထားတာမဟုတ်ပါဘူး ကိုယ်ကသူတို့ကို Index မလုပ်စေချင်တဲ့ နေရာတွေကို ပြောထားလို့ပါ။ Search Engine ဆိုတာ သူများ Information တွေကို အလကားလိုက်ယူနေတဲ့ဟာတွေဆိုတော့ ကိုယ်မယူစေချင်တဲ့နေရာကို ပြောထားလိုရပါတယ်။ ပြောထားရက်နဲ့ သူတို့ Index လုပ်သွားရင်တော့ တရားစွဲလို့ရပါတယ်။ ကိုယ့် Website ရဲ့ Root မှာ robots.txt ဆိုပြီးဖိုင်တစ်ဖိုင်ထားပြီး အဲ့သည့်အထဲမှာ ကိုယ်မလုပ်စေချင်တဲ့ Path တွေကိုထည့်ပေးရပါတယ်။

User-agent:
Disallow: /

ဒီလိုသာထည့်လိုက် သူတို့ဘယ်ဟာကိုမှ Index မလုပ်တော့ဘူး။ ဒါမှမဟုတ်သီးသန့် Folder တွေကိုဖယ်ထားချင်တာဆိုရင်တော့

User-agent:

Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/
….

ဒါမျိုးတွေထည့်ပေးလိုက်ပေါ့ဗျာ။

WordPress သုံးတဲ့လူဆိုရင်တော့ ဒါမျိုးတွေမထည့်ချင်ရင် Admin အနေနဲ့ဝင်။ Setting -> Privacy ->Blog Visibility ကို I would like to block search engines, but allow normal visitors လို့ရွေးထားလိုက်ဗျာ။ တစ်ခါတစ်လေတော့လည်း ကိုယ်က Public မဖြစ်စေချင်တဲ့ ကိစ္စတွေရှိတယ်လေ ဒါမျိုးတွေအတွက်သုံးရပါတယ်။ ကျွန်တော့် ဘလော့ထဲကစာသားတွေကို ယူပြီးတော့ Google မှာရှာကြည့်လိုက် တစ်ခြားကနေ RSS ယူပြီးပြထားတဲ့ နေရာတို့ တစ်ချို့အသုံးအနှုံးတူနေတာ ရှိရင်သာတွေ့မယ် ကျွန်တော့်ဘလော့မှာပါတယ်တော့ Result မှာတွေ့မှာမဟုတ်ဘူး။