Hướng dẫn Tối ưu file robots.txt tốt nhất cho SEO Xenforo và tăng doanh thu Google Adsence

Jindo_Katori

Thượng Đế
Tham gia
01/03/2015
Bài viết
1,463
Được Like
1,199
Tối ưu file robots.txt tốt nhất cho SEO Xenforo và tăng doanh thu Google Adsence

Bài viết này của mình sẽ hướng dẫn bạn loại bỏ những truy vấn tào lao với robots.txt

Bạn đang có lẽ ở đây bởi vì máy chủ của bạn đang được rèn ấn định bằng các truy vấn không liên quan đến trang web của bạn trên máy chủ của bạn. Các dịch hại có thể làm giảm đáng kể hiệu suất máy chủ của bạn và làm tăng con số tải trung bình. Hậu quả của việc này là để gây ra sự chậm trễ trong việc phục vụ các nội dung trang web đến khách hàng của bạn, những người bạn muốn xem đến thăm trang của bạn. Thường thì điều này dẫn đến mất băng thông và cũng doanh thu AdSense.

Từ một chút mò mẫn xung quanh mình đã tìm thấy một danh sách khá tốt các quy tắc mà về mặt lý thuyết nên chặn các loại tác nhân gây hại. Mình không thể cam kết tất cả chúng sẽ tuân theo những quy tắc chuẩn, nhưng ít nhất bạn biết thêm được phần tử nào mà bạn cần phải ngăn chặn.

Mình hy vọng bạn tìm thấy nó hữu ích!

Bài viết ngắn này giả định rằng bạn hiểu làm thế nào để sử dụng robots.txt - chức năng của nó là để cung cấp cho bạn với một tập hợp các quy tắc để ngăn chặn những phiền hà

Demo: http://tuyhoaplus.com/robots.txt

Rất mong được các bạn góp ý và ủng hộ các bài viết khác tại : TUYHOAPLUS.COM
 

seoben

Thượng Đế
Tham gia
13/05/2016
Bài viết
75
Được Like
73
Ngồi google tìm tài liệu học seo lại ra bài này của mình mới ghê chứ facepalm~~
Ghê gì chứ, VNXF nội dung tốt hữu ích, lượng truy cập kha khá + WEB trust ổn định như thế đã được google ưu tiên hiển thị thứ hạng cao trên google.

Bạn cứ để ý tuy VNXF ra đời hoạt động muộn hơn VXF ấy vậy mà khi mình search tải addon, style về thì tỉ lệ hiện thị trên VNXF nhiều hơn VXF đấy!
 

Jindo_Katori

Thượng Đế
Tham gia
01/03/2015
Bài viết
1,463
Được Like
1,199
Ghê gì chứ, VNXF nội dung tốt hữu ích, lượng truy cập kha khá + WEB trust ổn định như thế đã được google ưu tiên hiển thị thứ hạng cao trên google.
Bạn cứ để ý tuy VNXF ra đời hoạt động muộn hơn VXF ấy vậy mà khi mình search tải addon, style về thì tỉ lệ hiện thị trên VNXF nhiều hơn VXF đấy!
Bác @PVS toàn ngồi leech thủ công mà bác
Với lại những bài như của mình (chuyên mảng nội dung) đặt tiêu đề + nội dung cũng khá thân thiện với từ khóa phổ thông :=D
 

seoben

Thượng Đế
Tham gia
13/05/2016
Bài viết
75
Được Like
73
Bác @PVS toàn ngồi leech thủ công mà bác
Với lại những bài như của mình (chuyên mảng nội dung) đặt tiêu đề + nội dung cũng khá thân thiện với từ khóa phổ thông :=D
Leech nhưng mình cũng không biết về nội dung có trùng lặp ko, nhưng thấy đa số key VNXF cao hơn VXF là biết nội dung khá tốt rồi, ngoài ra sự hữu ích, tiện lợi được đông đảo ace quan tâm đã là yếu tố tăng trust tăng thứ hạng rồi, hữu ích ở đây đó là share và down đó :D ở đây là mỏ addon, style rồi còn gì! Lại còn mem, BQT support tốt nữa.
 

THB

Admin - Founder
Thành viên BQT
Tham gia
25/02/2015
Bài viết
6,340
Được Like
3,897
cảm ơn các bác quá khen.hiii.
nói về cái file robot.txt của bác @Jindo_Katori . sao mình thấy disallow nhiều quá nhỉ?
Bác vào console của gg xem thử có báo gì ko? ai cao thủ seo cho xin ý kiến. hii
Mã:
User-agent: *
Disallow: /test/
Disallow: /account/
Disallow: /admin.php
Disallow: /ajax/
Disallow: /conversations/
Disallow: /events/birthdays/
Disallow: /events/monthly
Disallow: /events/weekly
Disallow: /find-new/
Disallow: /forums/-/
Disallow: /forums/tweets/
Disallow: /goto/
Disallow: /help/
Disallow: /goto/
Disallow: /login/
Disallow: /lost-password/
Disallow: /media/category/
Disallow: /media/keyword/
Disallow: /media/user/
Disallow: /media/service/
Disallow: /media/submit/
Disallow: /misc/style?*
Disallow: /misc/quick-navigation-menu?*
Disallow: /online/
Disallow: /pages/conduct/
Disallow: /pages/privacy/
Disallow: /posts/
Disallow: /threads/tera-tweet-from-*
Disallow: /recent-activity/
Disallow: /register/
Disallow: /search/
Disallow: /index.php?account/
Disallow: /index.php?find-new/
Disallow: /index.php?help/
Disallow: /index.php?goto/
Disallow: /index.php?login/
Disallow: /index.php?lost-password/
Disallow: /index.php?misc/style/
Disallow: /index.php?online/
Disallow: /index.php?posts/
Disallow: /index.php?recent-activity/
Disallow: /index.php?register/
Disallow: /index.php?search/
Disallow: /wiki/special/

Allow: /

Sitemap: http://tuyhoaplus.com/sitemap.php

# Adbeat ads
User-agent: adbeat_bot
Disallow: /

#AgentLinkSpammer
User-agent: AgentLinkSpammer
Disallow: /

# AhrefsBot ads
User-agent: AhrefsBot
Disallow: /

User-agent: AhrefsBot/4.0
Disallow: /

#aiHitBot Ukraine or Russia
User-agent: aiHitBot
Disallow: /
User-agent: aiHitBot/1.0
Disallow: /
User-agent: aiHitBot/1.1
Disallow: /

#Acoon Germany
User-agent: Acoon
Disallow: /

#Arachmo Japan
User-agent: Arachmo
Disallow: /

#Baiduspider China and Japan
User-agent: Baiduspider
Disallow: /

User-agent: Baiduspider+
Disallow: /

User-agent: Baiduspider+(+http://www.baidu.com/search/spider.htm)
Disallow: /

User-agent: Baiduspider/2.0;+http://www.baidu.com/search/spider.html
Disallow: /

User-agent: Baiduspider/2.0
Disallow: /

User-agent: +Baiduspider
Disallow: /

User-agent: +Baiduspider/2.0
Disallow: /

User-agent: +Baiduspider/2.0;++http://www.baidu.com/search/spider.html
Disallow: /

User-agent: Mozilla/5.0(compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
Disallow: /

#careerbot Germany
User-agent: careerbot
Disallow: /

#COMODOSpider/Nutch-1.2 United Kingdom
User-agent: COMODOSpider/Nutch-1.2
Disallow: /

#EasouSpider - China
User-agent: EasouSpider
Disallow: /

#Exabot/3.0 - France proxy scraper
User-agent: Exabot/3.0
Disallow: /

#Exalead proxy scraper France
User-agent: Exalead
Disallow: /

User-agent: ExaLead Crawler
Disallow: /

#Ezooms and dotbot
User-agent: ezooms
Disallow: /

User-agent: Ezooms/1.0
Disallow: /

User-agent: DotBot             
Disallow: /

User-agent: Mozilla/5.0 (compatible; Ezooms/1.0; ezooms.bot[at]gmail[dot]com)
Disallow: /

#findlinks/2.6 Germany http://wortschatz.uni-leipzig.de/findlinks
User-agent: findlinks/2.6
Disallow: /

#Java/1.6.0_04
User-agent: Java/1.6.0_04
Disallow: /

#JikeSpider China
User-agent: JikeSpider
Disallow: /

#KaloogaBot Netherlands contextual advertising
User-agent: KaloogaBot
Disallow: /

#Mail.RU_Bot/2.0 Russia
User-agent: Mail.RU_Bot/2.0
Disallow: /
#Mail.RU Russia
User-agent: Mail.RU
Disallow: /
#Mail.Ru Russia
User-agent: Mail.Ru
Disallow: /
User-agent: Mail.RU_Bot/2.0;  +http://go.mail.ru/help/robots
Disallow: /

#MJ12bot United Kingdom
User-Agent: MJ12bot
Disallow: /

#MJ12bot/v1.4.3 United Kingdon
User-Agent: MJ12bot/v1.4.3
Disallow: /

User-agent: moget
Disallow: /

#Ichiro Japan
User-agent: Ichiro
Disallow: /
#Ichiro 3.0 Japan
User-agent: Ichiro 3.0
Disallow: /

User-agent: NaverBot
Disallow: /

User-agent: Yeti
Disallow: /

#NetcraftSurveyAgent/1.0
User-agent: NetcraftSurveyAgent/1.0
Disallow: /

#OpenWebIndex/Nutch-1.6 Germany
User-agent: OpenWebIndex/Nutch-1.6
Disallow: /
User-agent: OpenWebIndex
Disallow: /

#panoptaStudyBot checks.panopta.com monitor
User-agent: panoptaStudyBot
Disallow: /

#panoptaStudyBot checks.panopta.com monitor
User-agent: checks.panopta.com
Disallow: /

#picsearch Sweden searches for pictures
User-agent: psbot
Disallow: /

#plukkie Dutch (botje.nl)/Belgium (botje.be)/France (botje.fr)/United Kingdom (botje.co.uk) search engine
User-agent: plukkie
Disallow: /

#SeznamBot Czech Republic
User-agent: SeznamBot
Disallow: /
User-agent: SeznamBot/1.0
Disallow: /
User-agent: SeznamBot/1.1
Disallow: /
#SeznamBot/3.0
User-agent: SeznamBot/3.0
Disallow: /

#SistrixCrawler Germany DE
User-agent: SistrixCrawler
Disallow: /

User-agent: Sistrix
Disallow: /

User-agent: SISTRIX Crawler
Disallow: /

User-agent: SISTRIX
Disallow: /

# Sogou
User-agent: sogou spider
Disallow: /

User-agent: Sogou web spider
Disallow: /

# Sosospider - China http://help.soso.com/webspider.htm
User-agent: Sosospider+
Disallow: /
# Sosospider - China
User-agent: Sosospider
Disallow: /
#Sosospider/2.0 - China may not obey robots.txt
User-agent: Sosospider/2.0
Disallow: /

#360Spider China
User-agent: 360Spider
Disallow: /

#SurveyBot
User-agent: SurveyBot
Disallow: /

#Wada.vn Vietnamese Search/2.1

User-agent: Wada.vn
Disallow: /
User-agent: Wada.vn Vietnamese Search
Disallow: /
User-agent: Wada.vn Vietnamese Search/2.1
Disallow: /

#Yandex
User-agent: Yandex
Disallow: /

User-agent: Yandex/1.01.001
Disallow: /

User-agent: YandexBot/3.0-MirrorDetector
Disallow: /

User-agent: YandexImages/3.0
Disallow: /

User-agent: YandexSomething/1.
Disallow: /

User-agent: Yandex.com
Disallow: /

User-agent: YandexBot/3.0
Disallow: /

#YisouSpider China
User-agent: YisouSpider
Disallow: /

#YoudaoBot/1.0 China
User-agent: YoudaoBot/1.0
Disallow: /
#YoudaoBot China
User-agent: YoudaoBot/1.0
Disallow: /

#Zao - Japan
User-agent: Zao
Disallow: /
 

Jindo_Katori

Thượng Đế
Tham gia
01/03/2015
Bài viết
1,463
Được Like
1,199
cảm ơn các bác quá khen.hiii.
nói về cái file robot.txt của bác @Jindo_Katori . sao mình thấy disallow nhiều quá nhỉ?
Bác vào console của gg xem thử có báo gì ko? ai cao thủ seo cho xin ý kiến. hii
Mã:
User-agent: *
Disallow: /test/
Disallow: /account/
Disallow: /admin.php
Disallow: /ajax/
Disallow: /conversations/
Disallow: /events/birthdays/
Disallow: /events/monthly
Disallow: /events/weekly
Disallow: /find-new/
Disallow: /forums/-/
Disallow: /forums/tweets/
Disallow: /goto/
Disallow: /help/
Disallow: /goto/
Disallow: /login/
Disallow: /lost-password/
Disallow: /media/category/
Disallow: /media/keyword/
Disallow: /media/user/
Disallow: /media/service/
Disallow: /media/submit/
Disallow: /misc/style?*
Disallow: /misc/quick-navigation-menu?*
Disallow: /online/
Disallow: /pages/conduct/
Disallow: /pages/privacy/
Disallow: /posts/
Disallow: /threads/tera-tweet-from-*
Disallow: /recent-activity/
Disallow: /register/
Disallow: /search/
Disallow: /index.php?account/
Disallow: /index.php?find-new/
Disallow: /index.php?help/
Disallow: /index.php?goto/
Disallow: /index.php?login/
Disallow: /index.php?lost-password/
Disallow: /index.php?misc/style/
Disallow: /index.php?online/
Disallow: /index.php?posts/
Disallow: /index.php?recent-activity/
Disallow: /index.php?register/
Disallow: /index.php?search/
Disallow: /wiki/special/

Allow: /

Sitemap: http://tuyhoaplus.com/sitemap.php

# Adbeat ads
User-agent: adbeat_bot
Disallow: /

#AgentLinkSpammer
User-agent: AgentLinkSpammer
Disallow: /

# AhrefsBot ads
User-agent: AhrefsBot
Disallow: /

User-agent: AhrefsBot/4.0
Disallow: /

#aiHitBot Ukraine or Russia
User-agent: aiHitBot
Disallow: /
User-agent: aiHitBot/1.0
Disallow: /
User-agent: aiHitBot/1.1
Disallow: /

#Acoon Germany
User-agent: Acoon
Disallow: /

#Arachmo Japan
User-agent: Arachmo
Disallow: /

#Baiduspider China and Japan
User-agent: Baiduspider
Disallow: /

User-agent: Baiduspider+
Disallow: /

User-agent: Baiduspider+(+http://www.baidu.com/search/spider.htm)
Disallow: /

User-agent: Baiduspider/2.0;+http://www.baidu.com/search/spider.html
Disallow: /

User-agent: Baiduspider/2.0
Disallow: /

User-agent: +Baiduspider
Disallow: /

User-agent: +Baiduspider/2.0
Disallow: /

User-agent: +Baiduspider/2.0;++http://www.baidu.com/search/spider.html
Disallow: /

User-agent: Mozilla/5.0(compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
Disallow: /

#careerbot Germany
User-agent: careerbot
Disallow: /

#COMODOSpider/Nutch-1.2 United Kingdom
User-agent: COMODOSpider/Nutch-1.2
Disallow: /

#EasouSpider - China
User-agent: EasouSpider
Disallow: /

#Exabot/3.0 - France proxy scraper
User-agent: Exabot/3.0
Disallow: /

#Exalead proxy scraper France
User-agent: Exalead
Disallow: /

User-agent: ExaLead Crawler
Disallow: /

#Ezooms and dotbot
User-agent: ezooms
Disallow: /

User-agent: Ezooms/1.0
Disallow: /

User-agent: DotBot            
Disallow: /

User-agent: Mozilla/5.0 (compatible; Ezooms/1.0; ezooms.bot[at]gmail[dot]com)
Disallow: /

#findlinks/2.6 Germany http://wortschatz.uni-leipzig.de/findlinks
User-agent: findlinks/2.6
Disallow: /

#Java/1.6.0_04
User-agent: Java/1.6.0_04
Disallow: /

#JikeSpider China
User-agent: JikeSpider
Disallow: /

#KaloogaBot Netherlands contextual advertising
User-agent: KaloogaBot
Disallow: /

#Mail.RU_Bot/2.0 Russia
User-agent: Mail.RU_Bot/2.0
Disallow: /
#Mail.RU Russia
User-agent: Mail.RU
Disallow: /
#Mail.Ru Russia
User-agent: Mail.Ru
Disallow: /
User-agent: Mail.RU_Bot/2.0;  +http://go.mail.ru/help/robots
Disallow: /

#MJ12bot United Kingdom
User-Agent: MJ12bot
Disallow: /

#MJ12bot/v1.4.3 United Kingdon
User-Agent: MJ12bot/v1.4.3
Disallow: /

User-agent: moget
Disallow: /

#Ichiro Japan
User-agent: Ichiro
Disallow: /
#Ichiro 3.0 Japan
User-agent: Ichiro 3.0
Disallow: /

User-agent: NaverBot
Disallow: /

User-agent: Yeti
Disallow: /

#NetcraftSurveyAgent/1.0
User-agent: NetcraftSurveyAgent/1.0
Disallow: /

#OpenWebIndex/Nutch-1.6 Germany
User-agent: OpenWebIndex/Nutch-1.6
Disallow: /
User-agent: OpenWebIndex
Disallow: /

#panoptaStudyBot checks.panopta.com monitor
User-agent: panoptaStudyBot
Disallow: /

#panoptaStudyBot checks.panopta.com monitor
User-agent: checks.panopta.com
Disallow: /

#picsearch Sweden searches for pictures
User-agent: psbot
Disallow: /

#plukkie Dutch (botje.nl)/Belgium (botje.be)/France (botje.fr)/United Kingdom (botje.co.uk) search engine
User-agent: plukkie
Disallow: /

#SeznamBot Czech Republic
User-agent: SeznamBot
Disallow: /
User-agent: SeznamBot/1.0
Disallow: /
User-agent: SeznamBot/1.1
Disallow: /
#SeznamBot/3.0
User-agent: SeznamBot/3.0
Disallow: /

#SistrixCrawler Germany DE
User-agent: SistrixCrawler
Disallow: /

User-agent: Sistrix
Disallow: /

User-agent: SISTRIX Crawler
Disallow: /

User-agent: SISTRIX
Disallow: /

# Sogou
User-agent: sogou spider
Disallow: /

User-agent: Sogou web spider
Disallow: /

# Sosospider - China http://help.soso.com/webspider.htm
User-agent: Sosospider+
Disallow: /
# Sosospider - China
User-agent: Sosospider
Disallow: /
#Sosospider/2.0 - China may not obey robots.txt
User-agent: Sosospider/2.0
Disallow: /

#360Spider China
User-agent: 360Spider
Disallow: /

#SurveyBot
User-agent: SurveyBot
Disallow: /

#Wada.vn Vietnamese Search/2.1

User-agent: Wada.vn
Disallow: /
User-agent: Wada.vn Vietnamese Search
Disallow: /
User-agent: Wada.vn Vietnamese Search/2.1
Disallow: /

#Yandex
User-agent: Yandex
Disallow: /

User-agent: Yandex/1.01.001
Disallow: /

User-agent: YandexBot/3.0-MirrorDetector
Disallow: /

User-agent: YandexImages/3.0
Disallow: /

User-agent: YandexSomething/1.
Disallow: /

User-agent: Yandex.com
Disallow: /

User-agent: YandexBot/3.0
Disallow: /

#YisouSpider China
User-agent: YisouSpider
Disallow: /

#YoudaoBot/1.0 China
User-agent: YoudaoBot/1.0
Disallow: /
#YoudaoBot China
User-agent: YoudaoBot/1.0
Disallow: /

#Zao - Japan
User-agent: Zao
Disallow: /
Untitled.png

Đã kiểm tra. Không vấn đề gì bác
Nhân tiện có bác @THB @PVS (hay leech bài chèn tag) mình hỏi cái về key tag luôn
1. Xentag của tinhte mình thấy nó tự addlink vào từ khóa, còn content tag mặc định của xen không có hả bác
2. Sau khi mình add tag xong thì không thấy tag nằm ở đâu trong bài viết cả? Và cũng không tìm thấy chỗ để edit tag nhưng tra http://tuyhoaplus.com/tags thì vẫn có tag đã add thành công?
2.png

Tại vấn đề này mình đang tìm hiểu ở thread "content tag..." bên kia bị mấy bác vào chém nhau dữ quá.
 

seoben

Thượng Đế
Tham gia
13/05/2016
Bài viết
75
Được Like
73
Mình nghĩ việc disallow những công cụ như ahrefs là điều không cần thiết :D
Site mình đang chặn một loạt luông. Đã seo phải giữ kín để đối thủ phân tích hết, có quần áo cũng như không thì không nên đâu bạn hee.
Thích chặn thì vô đây http://seomods.co.uk/cach-chan-het-cac-site-phan-tich-backlink-bot-ahrefs-majesticseo-spam-bot.t15
Chặn hết luôn các loại bot không cần thiết chỉ để mình google bing yahoo crawl thôi.
 

Jindo_Katori

Thượng Đế
Tham gia
01/03/2015
Bài viết
1,463
Được Like
1,199
Site mình đang chặn một loạt luông. Đã seo phải giữ kín để đối thủ phân tích hết, có quần áo cũng như không thì không nên đâu bạn hee.
Thích chặn thì vô đây http://seomods.co.uk/cach-chan-het-cac-site-phan-tich-backlink-bot-ahrefs-majesticseo-spam-bot.t15
Chặn hết luôn các loại bot không cần thiết chỉ để mình google bing yahoo crawl thôi.
Bữa nào rãnh kết hợp thêm sớ disfollow của bác nữa là thành thiên la địa võng luôn rofl~~
 

singh

Thượng Đế
Tham gia
08/06/2015
Bài viết
465
Được Like
279
file nào chuẩn seo nhất vậy các bạn? hiện tại web mình đang bị chặn vì robot rất nhiều link
 
  • Like
Reactions: THB

newbean

Thượng Đế
Tham gia
10/05/2017
Bài viết
50
Được Like
34
Theo ý kiến riêng của mình thì k cần thiết phải chặn quá nhiều trong robots. chỉ cần điều hướng tổng quan thôi. Mình cũng seo nhiều website mà
 

newbean

Thượng Đế
Tham gia
10/05/2017
Bài viết
50
Được Like
34
@tqhuy Tốt nhất bạn nên đưa về sitemap.xml để master tool lập chỉ mục. xenfo có chức năng tự cạp nhật sitemap nên đó là 1 lợi thế chứ k như các mã nguồn khác. Như mình đang làm 1 web về đăng tin nhà đất . hiện đang có gần 5000 urls nên cũng vất vả khoản sitemap
 

Top Bottom