You are currently viewing Robots.txt File Kya Hoti Hai?

Robots.txt File Kya Hoti Hai?

Robots.txt File Kya Hoti Hai: अपनी वेबसाइट के लिए कैसे बनायें

 

Robots.txt File Kya Hoti Hai: अपनी वेबसाइट के लिए कैसे बनायें?: आप भी अगर blogging के field मे हैं तो जरुर आपने Robots.txt File का नाम सुना होगा। पर आपमें से बहुत लोगो को Robots.txt File Kya Hoti है ये नहीं पता होगा ? Robots.txt फाइल को बनाने का क्या कारण है । Robots.txt फाइल को बनाने के क्या फायदे है ? और इसे कैसे बनाया जाता है।
आप मे से कई ब्लोग्गेर्स इन सब सवालो के जवाब विसतार से जानना चाहते होंगे। अगर आप भी इन सवालो के जवाब चाहते है तो मेरी इस पोस्ट को आखिर तक जरूर पढ़िएगा। इस ब्लॉग के आखिर तक आपको आपके सवालो के जवाब जरूर मिल जाएंगे ,और आपको Robots.txt File के बारे मे कही और से जानकारी लेने की जरुरत नहीं पड़ेगी।
तो चलिए शुरू करते है आजका ये पोस्ट जिसमे आपको बहुत कुछ सिखने को मिलेगा अगर आप भी एक ब्लोगेर है तो ये ब्लॉग आपके लिए बहुत जानकारी से भरा हो सकता है। बिना देरी किये शुरू करते हैं आज का यह पोस्ट।

Robots.txt File Kya Hoti Hai: अपनी वेबसाइट के लिए कैसे बनायें?:

Robots.txt File क्या है

जब भी कोई ब्लॉगर अपनी वेबसाइट पर ब्लॉग बनाता हैं तो । Google के Robot या Crawler आपकी वेबसाइट के एक-एक पेज को Crawl करकर उसका index बनाते है। पर अगर हम चाहते है की हमारी वेबसाइट पर कुछ पेजेज प्राइवेट हो जो क्रॉलर तक न पहुंच पाए मतलब जो भी crawler आपकी वेबसाइट को क्रॉल करे वो आपके उन pages तक ना पहुंच पाए । क्रॉलर तक ये बात पहुचाने के लिए Robots.txt file का प्रयोग किया जाता है।

Definition of Robots.txt File in Hindi

Robots.txt File उस फाइल को कहा जाता है जो क्रॉलर तक ये बात पहुंचता है की कोनसी फाइल private है और कोनसी फाइल प्राइवेट नहीं है और उसे क्रॉल करना है या नहीं ।
Robots.txt File कैसे काम करती है ?

जब भी कोई क्रॉलर हमारी वेबसाइट पर आता है तो वो यह जरूर देखता है की कोनसी फाइल private है और कोनसी फाइल को क्रॉलर क्रॉल कर सकता है। और तभी वो crawler क्रॉलिंग करना शुरू करता है और indexing का काम वो तभी शुरू करता है ,जब वो Robots.txt फाइल को देख लेता है।

जो भी सर्चइंजन AUTHENTIC वह सभी Robots.txt File का पालन जरूर करते है। FOR EXAMPLE : GOOGLE ,YAHOO ,आदि।
Robots.txt File क्यों बनाई जाती है ?

Robots.txt File Kya Hoti Hai: अपनी वेबसाइट के लिए कैसे बनायें:

Robots.txt File क्यों बनाई जाती है ?

अब आपमें से बहुत लोगो के मन मे ये सवाल सवाल आ रहा होगा की हम अपने कुछ PAGES को PRIVATE क्यों करना चाहते है। हम क्यों चाहते है की हमारे कुछ PAGES CRAWLER INDEX न करे हालाँकि हर कोई अपनी वेबसाइट को रैंक कराना चाहता है। जिस के लिए इंडेक्सिंग होना बहुत जरुरी है तो फिर क्यों हम कुछ पेजेज को PRIVATE कर देते है ? तो चालिये आपके इन सभी सवालो के जवाब देते है। अगर कोई CRAWLER आपकी वेबसाइट पर INDEXING करने आता है ,तो उसके पास न तो ज्यादा समय होता है और नाही ज्यादा साधन होते है ,उसका जो टाइम और संसाधन तय किया जाता है तो उसे Crawl Budget कहते हैं।
इसलिए जो पेज महत्वपूर्ण नही होते उन्हें हम Robots.txt file के रूप मे तैयार कर लेते है ताकि जब क्रॉलर आपकी WEBSITE पर आये तो वो सिर्फ महत्वपूर्ण फाइल्स को ही इंडेक्स करे जिससे हमारी वेबसाइट जल्दी रैंक हो जाये। क्यूंकि CRAWLER के पास वक़्त और साधन काम होते है इसलिए वो सिर्फ वही पेज देखे जो IMPORTANT है। यही कारण है की ब्लोग्गेर्स अपनी वेबसाइट पर Robots.txt File का इस्तेमाल करते है।
Robots.txt File बनाने से CRAWLERS वेबसाइट के उस पेज को क्रॉल नहीं करते जो आपने प्राइवेट कर रखे है और जो वेबसाइट को रैंक कराने के लिए उतने इम्पोर्टेन्ट नही है। FOR EXAMPLE – Category, Tags , Author, Admin etc.

ALSO CHECK :

Robots.txt के फायदे

Robots.txt File बनाने से आपको कई फायदे होते है , जैसे –
• आपकी वेबसाइट के जो सबसे IMPORTANT पेज है वो जल्दी से इंडेक्स हो जाते है।
• अगर आप किसी भी पेज को प्राइवेट रखना चाहते है तो आप Robots.txt File बना सकते है।
• आप अपनी वेबसाइट पर Low Value Page को ब्लाक कर सकते हैं।
Robots.txt File Format in Hindi
Robots.txt File का जो Format होता है वह कुछ इस प्रकार होता है –
User Agent – *
Allow : /
Disallow : /

इस फॉर्मेट में User Agents का मतलब होता है जो क्रॉलर आपकी वेबसाइट को क्रॉल करता है उसको user agents बोलते है। for example : अगर हम Google crawlers को यूजर एजेंट बनाना चाहते है तो हम User Agents में Googlebot लिखते है। इसी प्रकार yahoo को यूजर एजेंट बनाने के लिए yahoo लिखेंगे । पर हम अगर चाहते है की सारे सर्च इंजिन्स ही हमारी वेबसाइट पर crawling करे तो हमे * चिन्ह का प्रयोग करना होगा।

Allow वाले सेक्शन में हम अपने उन पेजेज को select करते है , जिन्हें हम चाहते हैं कि क्रॉलर इंडेक्स करे।
Disallow के सेक्शन में हम आपने उन पेजेज को select करते है ,जिन्हें हम चाहते हैं कि क्रॉलर इंडेक्स ना करे। तो ये तो हमने आपको बताया की Robot.txt File का Basic Format क्या होता है। Robot.txt File का Basic Format समझना बहुत ही आसान है।
तो अब मे आपको बताउंगी की कैसे आप Robots.txt File Blogger और WordPress दोनों में बना सकते है।

Robots.txt File For Blogger
अगर आप Blogger में Robots.txt File बनाना चाहते है तो, नीचे दिए हुए स्टेपस को फॉलो करें –
• सबसे पहले तो scroll करें और Crawlers and Indexing वाले ऑप्शन मे जाये।
• अब वही पर आपको Custom Robots.txt का ऑप्शन दिखेगा आपको उसको इनेबल कर देना है।
• अब आप Custom Robots.txt File बनाकर अपनी Blogger वेबसाइट में Add कर सकते है।

RELATED LINKS :

Robots.txt File For WordPress
अब बात करते है की wordpress पर Robots.txt File बनाने के लिए कोन से स्टेप फॉलो karne होंगे। यह Yoast SEO का plugin है।
• WordPress खोलने के साथ ही आपको लेफ्ट साइड पर Dashboard का option dikhega उसके बाद dashboard में SEO का ऑप्शन दिखेगा उस पर जाये।
• seo के बाद आपको Tool के ऑप्शन मे जाना है।
• Tool के option के बाद File Editor का आप्शन आएगा उस पर क्लिक कीजिये। .
• जैसे ही आप File Editor के आप्शन पर क्लिक करते है तो आपकी website में Robots.txt File को ऐड करने का option आ जायेगा।
Rank Math plugin में आपको sidebar में ही Robots.txt का option मिल जाएगा, उस पर click करने से ही आप अपनी Robots.txt फाइल को edit कर सकते हैं ।

वेबसाइट की Robots.txt File Check कैसे करें?

अगर आप किसी भी वेबसाइट की Robots.txt File check करना चाहते है,तो आप निचे दिए link से देख सकते हैं –
• https://example.com /रोबोट्ज़ .txt.
आपको example.com में उस वेबसाइट का Domain Name डालना है जिस वेबसाइट की आप Robots.txt File देखना चाहते हैं।
अगर आपने ये आर्टिकल पूरा पढ़ा है तो आपको   इन Robots.txt File Kya Hoti है ,Robots.txt File कैसे काम करती है सब ,Robots.txt File क्यों बनाई जाती है, Robots.txt के फायदे ,Robots.txt File Kaise Banaye इन सब से related  सारे doubt clear हो गए होंगे। और आपको ये पता चल गया होगा की कैसे आप अपनी वेबसाइट की रैंकिंग को सुधार सकते है।

मुझे पूरी उम्मीद है  कि आप लोगों को हमारा यह पोस्ट पसंद आया होगा।  इसमें  हमने Robots.txt File Kya Hoti Hai:अपनी वेबसाइट के लिए कैसे बनायें इन सब के बारे  में पूरी जानकारी दी है। यदि आपका कोई  भी doubt रहता हो तो आप कमेंट करकर पूछ सकते है। आपको जवाब जरूर दिया जायेगा  ।

 

0 0 votes
Article Rating
Subscribe
Notify of
guest

0 Comments
Inline Feedbacks
View all comments