Custom Robots File Blogger Par Kaise Add kare?

दोस्तों आज का Topic है Custom Robots File Blogger Par Kaise Add kare? और  Blogger पर आने वाले 404 Error को कैसे Fix करे? एक Webmaster के लिए यह बहुत Important है की Website Robots.txt Files कैसे Work करते है और उनका किस तरीके से हम Use कर सकते है.
custom robot.txt file
क्योकि Robot या Crawler यानि Web Spider ही हमारे Website को Internet पर चलते है और Robots.txt ही एक ऐसा Feature है जिनके द्वारा हम Search Engine Robots को Manage कर सकते है. जैसे-जैसे हमारे Website पर number of Post or URL increase होते है. वैसे-वैसे Website पर Crawl Error भी बढ़ जाते है ऐसे में इन्हें Fix करना जरुरी हो जाता है.
But उससे पहले Robot.txt File के बारे में कुछ जानते है.

About Robots.txt in Hindi:

जैसा की इसका नाम है Robots.txt, यह एक Text File होता है जिसमे कुछ Code लिखे होते है. Robots File किसी भी Website के Server पर Save किये जाते है वहा से Search Robots या Bots को Manage किया जाता है.
जब भी हम कोई Web Page Crawl करते है तो सबसे पहले Robots.txt File उसे Scan करता है उसके बाद ही वह page crawl होता है.
अगर एक Blogger hosted Blog है तो उसपर कुछ इस प्रकार का होता है,

User-agent: Mediapartners-Google

Disallow:

User-agent: *

Sitemap: http://www.ishailesh.org/sitemap.xml

Disallow: /search
Allow: /




यह लगभग सभी Blogger hosted Blog पर देखने को मिलता है अगर आप भी अपने Blog URL के बाद Robots.txt लिख कर सर्च करेंगे तो आपको भी ऐसा ही Code देखने को मिलेगा.
User-agent: Mediapartners-Google
यह Google Adsense Robot होता है जो Website पर दिए गए सभी Ads को manage करता है. की कैसे Ads को Show करना है.
User-agent: *
यह सभी Blog का एक Default Robot होता है जो पूरे Website के URLs को manage करता है. अगर हम यहाँ astrick (*) के जगह कोई URL लिख दे तो Robot केवल उसी URL को मैनेज करेगा.
नोट: अगर अपने अभी तक हमारे facebook Page को Like नहीं किया है तो अभी Like करे,

Custom Robots File Blogger Par Kaise Add kare?

अगर हम WordPress या किसी और CMS का Use करते है तो हमें एक Web hosting Service buy करना होता है और हम उस Server पर खुद से एक Robot File Create करते है और Manage करते है. लेकिन Blogger तो एक Free Hosting Platform है.
ऐसे में हमें यहाँ पर Web Server access करने को नहीं मिलता है. क्योकि यह तो Google के Server से Connect होता है. इसलिए Blogger हमें कुछ ऐसे Services Provide करता है जिससे हम अपने Robots.txt File को Manage कर सके.
Custom Robots File को Blogger पर add करने के लिए,  हमें 
  • Blogger Dashboard पर जाना होगा 
  • फिर Setting Option पर क्लिक करना होगा 
  • यहाँ से  Search Preferences Option पर क्लिक करना होगा 
  • Search Preferences Option में Crawler & Indexing Option में जाना होगा और यहाँ पर Custom Robots.txt Option के सामने दिए गए Edit Option पर क्लिक करना होगा.
  • इसके बाद Website के Default Robots.txt File को यहाँ Paste करके save करना होगा.

Robots.Txt Video Tutorial – Custom Robots.txt File Setup करने के लिए और 404 Error & Blocked Resources को Fix करने के लिए Video Guide जरुर देखे,
दोस्तों, Blogger पर Custom Robots.txt Add करके हम सभी प्रकार एक Webmaster Crawl  & Index Error Fix कर सकते है. अगर हम किसी URL को Search Result से remove करना चाहते है या Disallow करना चाहते है तो Robots.txt के मदद से उसे Disallow कर सकते है और Delete, Change URLs Error को Fix कर सकते है. 
7 Comments

Add a Comment

Your email address will not be published. Required fields are marked *

This site uses Akismet to reduce spam. Learn how your comment data is processed.