Tối ưu file robots.txt tốt nhất cho SEO Xenforo và tăng doanh thu Google Adsence Bài viết này của mình sẽ hướng dẫn bạn loại bỏ những truy vấn tào lao với robots.txt Bạn đang có lẽ ở đây bởi vì máy chủ của bạn đang được rèn ấn định bằng các truy vấn không liên quan đến trang web của bạn trên máy chủ của bạn. Các dịch hại có thể làm giảm đáng kể hiệu suất máy chủ của bạn và làm tăng con số tải trung bình. Hậu quả của việc này là để gây ra sự chậm trễ trong việc phục vụ các nội dung trang web đến khách hàng của bạn, những người bạn muốn xem đến thăm trang của bạn. Thường thì điều này dẫn đến mất băng thông và cũng doanh thu AdSense. Từ một chút mò mẫn xung quanh mình đã tìm thấy một danh sách khá tốt các quy tắc mà về mặt lý thuyết nên chặn các loại tác nhân gây hại. Mình không thể cam kết tất cả chúng sẽ tuân theo những quy tắc chuẩn, nhưng ít nhất bạn biết thêm được phần tử nào mà bạn cần phải ngăn chặn. Mình hy vọng bạn tìm thấy nó hữu ích! Bài viết ngắn này giả định rằng bạn hiểu làm thế nào để sử dụng robots.txt - chức năng của nó là để cung cấp cho bạn với một tập hợp các quy tắc để ngăn chặn những phiền hà Demo: http://tuyhoaplus.com/robots.txt Rất mong được các bạn góp ý và ủng hộ các bài viết khác tại : TUYHOAPLUS.COM
Ghê gì chứ, VNXF nội dung tốt hữu ích, lượng truy cập kha khá + WEB trust ổn định như thế đã được google ưu tiên hiển thị thứ hạng cao trên google. Bạn cứ để ý tuy VNXF ra đời hoạt động muộn hơn VXF ấy vậy mà khi mình search tải addon, style về thì tỉ lệ hiện thị trên VNXF nhiều hơn VXF đấy!
Bác @PVS toàn ngồi leech thủ công mà bác Với lại những bài như của mình (chuyên mảng nội dung) đặt tiêu đề + nội dung cũng khá thân thiện với từ khóa phổ thông
Leech nhưng mình cũng không biết về nội dung có trùng lặp ko, nhưng thấy đa số key VNXF cao hơn VXF là biết nội dung khá tốt rồi, ngoài ra sự hữu ích, tiện lợi được đông đảo ace quan tâm đã là yếu tố tăng trust tăng thứ hạng rồi, hữu ích ở đây đó là share và down đó ở đây là mỏ addon, style rồi còn gì! Lại còn mem, BQT support tốt nữa.
cảm ơn các bác quá khen.hiii. nói về cái file robot.txt của bác @Jindo_Katori . sao mình thấy disallow nhiều quá nhỉ? Bác vào console của gg xem thử có báo gì ko? ai cao thủ seo cho xin ý kiến. hii Code: User-agent: * Disallow: /test/ Disallow: /account/ Disallow: /admin.php Disallow: /ajax/ Disallow: /conversations/ Disallow: /events/birthdays/ Disallow: /events/monthly Disallow: /events/weekly Disallow: /find-new/ Disallow: /forums/-/ Disallow: /forums/tweets/ Disallow: /goto/ Disallow: /help/ Disallow: /goto/ Disallow: /login/ Disallow: /lost-password/ Disallow: /media/category/ Disallow: /media/keyword/ Disallow: /media/user/ Disallow: /media/service/ Disallow: /media/submit/ Disallow: /misc/style?* Disallow: /misc/quick-navigation-menu?* Disallow: /online/ Disallow: /pages/conduct/ Disallow: /pages/privacy/ Disallow: /posts/ Disallow: /threads/tera-tweet-from-* Disallow: /recent-activity/ Disallow: /register/ Disallow: /search/ Disallow: /index.php?account/ Disallow: /index.php?find-new/ Disallow: /index.php?help/ Disallow: /index.php?goto/ Disallow: /index.php?login/ Disallow: /index.php?lost-password/ Disallow: /index.php?misc/style/ Disallow: /index.php?online/ Disallow: /index.php?posts/ Disallow: /index.php?recent-activity/ Disallow: /index.php?register/ Disallow: /index.php?search/ Disallow: /wiki/special/ Allow: / Sitemap: http://tuyhoaplus.com/sitemap.php # Adbeat ads User-agent: adbeat_bot Disallow: / #AgentLinkSpammer User-agent: AgentLinkSpammer Disallow: / # AhrefsBot ads User-agent: AhrefsBot Disallow: / User-agent: AhrefsBot/4.0 Disallow: / #aiHitBot Ukraine or Russia User-agent: aiHitBot Disallow: / User-agent: aiHitBot/1.0 Disallow: / User-agent: aiHitBot/1.1 Disallow: / #Acoon Germany User-agent: Acoon Disallow: / #Arachmo Japan User-agent: Arachmo Disallow: / #Baiduspider China and Japan User-agent: Baiduspider Disallow: / User-agent: Baiduspider+ Disallow: / User-agent: Baiduspider+(+http://www.baidu.com/search/spider.htm) Disallow: / User-agent: Baiduspider/2.0;+http://www.baidu.com/search/spider.html Disallow: / User-agent: Baiduspider/2.0 Disallow: / User-agent: +Baiduspider Disallow: / User-agent: +Baiduspider/2.0 Disallow: / User-agent: +Baiduspider/2.0;++http://www.baidu.com/search/spider.html Disallow: / User-agent: Mozilla/5.0(compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) Disallow: / #careerbot Germany User-agent: careerbot Disallow: / #COMODOSpider/Nutch-1.2 United Kingdom User-agent: COMODOSpider/Nutch-1.2 Disallow: / #EasouSpider - China User-agent: EasouSpider Disallow: / #Exabot/3.0 - France proxy scraper User-agent: Exabot/3.0 Disallow: / #Exalead proxy scraper France User-agent: Exalead Disallow: / User-agent: ExaLead Crawler Disallow: / #Ezooms and dotbot User-agent: ezooms Disallow: / User-agent: Ezooms/1.0 Disallow: / User-agent: DotBot Disallow: / User-agent: Mozilla/5.0 (compatible; Ezooms/1.0; ezooms.bot[at]gmail[dot]com) Disallow: / #findlinks/2.6 Germany http://wortschatz.uni-leipzig.de/findlinks User-agent: findlinks/2.6 Disallow: / #Java/1.6.0_04 User-agent: Java/1.6.0_04 Disallow: / #JikeSpider China User-agent: JikeSpider Disallow: / #KaloogaBot Netherlands contextual advertising User-agent: KaloogaBot Disallow: / #Mail.RU_Bot/2.0 Russia User-agent: Mail.RU_Bot/2.0 Disallow: / #Mail.RU Russia User-agent: Mail.RU Disallow: / #Mail.Ru Russia User-agent: Mail.Ru Disallow: / User-agent: Mail.RU_Bot/2.0; +http://go.mail.ru/help/robots Disallow: / #MJ12bot United Kingdom User-Agent: MJ12bot Disallow: / #MJ12bot/v1.4.3 United Kingdon User-Agent: MJ12bot/v1.4.3 Disallow: / User-agent: moget Disallow: / #Ichiro Japan User-agent: Ichiro Disallow: / #Ichiro 3.0 Japan User-agent: Ichiro 3.0 Disallow: / User-agent: NaverBot Disallow: / User-agent: Yeti Disallow: / #NetcraftSurveyAgent/1.0 User-agent: NetcraftSurveyAgent/1.0 Disallow: / #OpenWebIndex/Nutch-1.6 Germany User-agent: OpenWebIndex/Nutch-1.6 Disallow: / User-agent: OpenWebIndex Disallow: / #panoptaStudyBot checks.panopta.com monitor User-agent: panoptaStudyBot Disallow: / #panoptaStudyBot checks.panopta.com monitor User-agent: checks.panopta.com Disallow: / #picsearch Sweden searches for pictures User-agent: psbot Disallow: / #plukkie Dutch (botje.nl)/Belgium (botje.be)/France (botje.fr)/United Kingdom (botje.co.uk) search engine User-agent: plukkie Disallow: / #SeznamBot Czech Republic User-agent: SeznamBot Disallow: / User-agent: SeznamBot/1.0 Disallow: / User-agent: SeznamBot/1.1 Disallow: / #SeznamBot/3.0 User-agent: SeznamBot/3.0 Disallow: / #SistrixCrawler Germany DE User-agent: SistrixCrawler Disallow: / User-agent: Sistrix Disallow: / User-agent: SISTRIX Crawler Disallow: / User-agent: SISTRIX Disallow: / # Sogou User-agent: sogou spider Disallow: / User-agent: Sogou web spider Disallow: / # Sosospider - China http://help.soso.com/webspider.htm User-agent: Sosospider+ Disallow: / # Sosospider - China User-agent: Sosospider Disallow: / #Sosospider/2.0 - China may not obey robots.txt User-agent: Sosospider/2.0 Disallow: / #360Spider China User-agent: 360Spider Disallow: / #SurveyBot User-agent: SurveyBot Disallow: / #Wada.vn Vietnamese Search/2.1 User-agent: Wada.vn Disallow: / User-agent: Wada.vn Vietnamese Search Disallow: / User-agent: Wada.vn Vietnamese Search/2.1 Disallow: / #Yandex User-agent: Yandex Disallow: / User-agent: Yandex/1.01.001 Disallow: / User-agent: YandexBot/3.0-MirrorDetector Disallow: / User-agent: YandexImages/3.0 Disallow: / User-agent: YandexSomething/1. Disallow: / User-agent: Yandex.com Disallow: / User-agent: YandexBot/3.0 Disallow: / #YisouSpider China User-agent: YisouSpider Disallow: / #YoudaoBot/1.0 China User-agent: YoudaoBot/1.0 Disallow: / #YoudaoBot China User-agent: YoudaoBot/1.0 Disallow: / #Zao - Japan User-agent: Zao Disallow: /
Đã kiểm tra. Không vấn đề gì bác Nhân tiện có bác @THB @PVS (hay leech bài chèn tag) mình hỏi cái về key tag luôn 1. Xentag của tinhte mình thấy nó tự addlink vào từ khóa, còn content tag mặc định của xen không có hả bác 2. Sau khi mình add tag xong thì không thấy tag nằm ở đâu trong bài viết cả? Và cũng không tìm thấy chỗ để edit tag nhưng tra http://tuyhoaplus.com/tags thì vẫn có tag đã add thành công? Tại vấn đề này mình đang tìm hiểu ở thread "content tag..." bên kia bị mấy bác vào chém nhau dữ quá.
Site mình đang chặn một loạt luông. Đã seo phải giữ kín để đối thủ phân tích hết, có quần áo cũng như không thì không nên đâu bạn hee. Thích chặn thì vô đây http://seomods.co.uk/cach-chan-het-cac-site-phan-tich-backlink-bot-ahrefs-majesticseo-spam-bot.t15 Chặn hết luôn các loại bot không cần thiết chỉ để mình google bing yahoo crawl thôi.
Cái chỗ site map em không biết tạo sitemap.php như thế nào. Em để thế này được không bác @Jindo_Katori : Sitemap: http://raovathot.net/sitemap/sitemap.xml.gz
Theo ý kiến riêng của mình thì k cần thiết phải chặn quá nhiều trong robots. chỉ cần điều hướng tổng quan thôi. Mình cũng seo nhiều website mà
@tqhuy Tốt nhất bạn nên đưa về sitemap.xml để master tool lập chỉ mục. xenfo có chức năng tự cạp nhật sitemap nên đó là 1 lợi thế chứ k như các mã nguồn khác. Như mình đang làm 1 web về đăng tin nhà đất . hiện đang có gần 5000 urls nên cũng vất vả khoản sitemap
