Hướng dẫn Tối ưu file robots.txt tốt nhất cho SEO Xenforo và tăng doanh thu Google Adsence

Thảo luận trong 'Seo Tools' bắt đầu bởi Jindo_Katori, 22/04/2016.

  1. Jindo_Katori

    Jindo_Katori Thượng Đế

    Tham gia:
    01/03/2015
    Bài viết:
    1,463
    Đã được thích:
    1,114
    Điểm thành tích:
    113
    Giới tính:
    Nam
    Nghề nghiệp:
    http://tuyhoaplus.com
    Nơi ở:
    http://tuyhoaplus.com
    Web:
    Tối ưu file robots.txt tốt nhất cho SEO Xenforo và tăng doanh thu Google Adsence

    Bài viết này của mình sẽ hướng dẫn bạn loại bỏ những truy vấn tào lao với robots.txt

    Bạn đang có lẽ ở đây bởi vì máy chủ của bạn đang được rèn ấn định bằng các truy vấn không liên quan đến trang web của bạn trên máy chủ của bạn. Các dịch hại có thể làm giảm đáng kể hiệu suất máy chủ của bạn và làm tăng con số tải trung bình. Hậu quả của việc này là để gây ra sự chậm trễ trong việc phục vụ các nội dung trang web đến khách hàng của bạn, những người bạn muốn xem đến thăm trang của bạn. Thường thì điều này dẫn đến mất băng thông và cũng doanh thu AdSense.

    Từ một chút mò mẫn xung quanh mình đã tìm thấy một danh sách khá tốt các quy tắc mà về mặt lý thuyết nên chặn các loại tác nhân gây hại. Mình không thể cam kết tất cả chúng sẽ tuân theo những quy tắc chuẩn, nhưng ít nhất bạn biết thêm được phần tử nào mà bạn cần phải ngăn chặn.

    Mình hy vọng bạn tìm thấy nó hữu ích!

    Bài viết ngắn này giả định rằng bạn hiểu làm thế nào để sử dụng robots.txt - chức năng của nó là để cung cấp cho bạn với một tập hợp các quy tắc để ngăn chặn những phiền hà

    Demo: http://tuyhoaplus.com/robots.txt

    Rất mong được các bạn góp ý và ủng hộ các bài viết khác tại : TUYHOAPLUS.COM
     
    SWATxPRO and THB like this.
  2. Jindo_Katori

    Jindo_Katori Thượng Đế

    Tham gia:
    01/03/2015
    Bài viết:
    1,463
    Đã được thích:
    1,114
    Điểm thành tích:
    113
    Giới tính:
    Nam
    Nghề nghiệp:
    http://tuyhoaplus.com
    Nơi ở:
    http://tuyhoaplus.com
    Web:
    Ngồi google tìm tài liệu học seo lại ra bài này của mình mới ghê chứ facepalm~~
     
    THB and seoben like this.
  3. seoben

    seoben Thượng Đế

    Tham gia:
    13/05/2016
    Bài viết:
    75
    Đã được thích:
    63
    Điểm thành tích:
    18
    Giới tính:
    Nam
    Nơi ở:
    HN
    Web:
    Ghê gì chứ, VNXF nội dung tốt hữu ích, lượng truy cập kha khá + WEB trust ổn định như thế đã được google ưu tiên hiển thị thứ hạng cao trên google.

    Bạn cứ để ý tuy VNXF ra đời hoạt động muộn hơn VXF ấy vậy mà khi mình search tải addon, style về thì tỉ lệ hiện thị trên VNXF nhiều hơn VXF đấy!
     
    secpol and THB like this.
  4. Jindo_Katori

    Jindo_Katori Thượng Đế

    Tham gia:
    01/03/2015
    Bài viết:
    1,463
    Đã được thích:
    1,114
    Điểm thành tích:
    113
    Giới tính:
    Nam
    Nghề nghiệp:
    http://tuyhoaplus.com
    Nơi ở:
    http://tuyhoaplus.com
    Web:
    Bác @PVS toàn ngồi leech thủ công mà bác
    Với lại những bài như của mình (chuyên mảng nội dung) đặt tiêu đề + nội dung cũng khá thân thiện với từ khóa phổ thông :=D
     
    THB and seoben like this.
  5. seoben

    seoben Thượng Đế

    Tham gia:
    13/05/2016
    Bài viết:
    75
    Đã được thích:
    63
    Điểm thành tích:
    18
    Giới tính:
    Nam
    Nơi ở:
    HN
    Web:
    Leech nhưng mình cũng không biết về nội dung có trùng lặp ko, nhưng thấy đa số key VNXF cao hơn VXF là biết nội dung khá tốt rồi, ngoài ra sự hữu ích, tiện lợi được đông đảo ace quan tâm đã là yếu tố tăng trust tăng thứ hạng rồi, hữu ích ở đây đó là share và down đó :D ở đây là mỏ addon, style rồi còn gì! Lại còn mem, BQT support tốt nữa.
     
    THB thích bài này.
  6. THB

    THB Admin - Founder Thành viên BQT

    Tham gia:
    25/02/2015
    Bài viết:
    6,336
    Đã được thích:
    3,550
    Điểm thành tích:
    113
    Giới tính:
    Nam
    Nghề nghiệp:
    CEO
    Nơi ở:
    Bình Dương
    Web:
    cảm ơn các bác quá khen.hiii.
    nói về cái file robot.txt của bác @Jindo_Katori . sao mình thấy disallow nhiều quá nhỉ?
    Bác vào console của gg xem thử có báo gì ko? ai cao thủ seo cho xin ý kiến. hii
    Mã:
    User-agent: *
    Disallow: /test/
    Disallow: /account/
    Disallow: /admin.php
    Disallow: /ajax/
    Disallow: /conversations/
    Disallow: /events/birthdays/
    Disallow: /events/monthly
    Disallow: /events/weekly
    Disallow: /find-new/
    Disallow: /forums/-/
    Disallow: /forums/tweets/
    Disallow: /goto/
    Disallow: /help/
    Disallow: /goto/
    Disallow: /login/
    Disallow: /lost-password/
    Disallow: /media/category/
    Disallow: /media/keyword/
    Disallow: /media/user/
    Disallow: /media/service/
    Disallow: /media/submit/
    Disallow: /misc/style?*
    Disallow: /misc/quick-navigation-menu?*
    Disallow: /online/
    Disallow: /pages/conduct/
    Disallow: /pages/privacy/
    Disallow: /posts/
    Disallow: /threads/tera-tweet-from-*
    Disallow: /recent-activity/
    Disallow: /register/
    Disallow: /search/
    Disallow: /index.php?account/
    Disallow: /index.php?find-new/
    Disallow: /index.php?help/
    Disallow: /index.php?goto/
    Disallow: /index.php?login/
    Disallow: /index.php?lost-password/
    Disallow: /index.php?misc/style/
    Disallow: /index.php?online/
    Disallow: /index.php?posts/
    Disallow: /index.php?recent-activity/
    Disallow: /index.php?register/
    Disallow: /index.php?search/
    Disallow: /wiki/special/
    
    Allow: /
    
    Sitemap: http://tuyhoaplus.com/sitemap.php
    
    # Adbeat ads
    User-agent: adbeat_bot
    Disallow: /
    
    #AgentLinkSpammer
    User-agent: AgentLinkSpammer
    Disallow: /
    
    # AhrefsBot ads
    User-agent: AhrefsBot
    Disallow: /
    
    User-agent: AhrefsBot/4.0
    Disallow: /
    
    #aiHitBot Ukraine or Russia
    User-agent: aiHitBot
    Disallow: /
    User-agent: aiHitBot/1.0
    Disallow: /
    User-agent: aiHitBot/1.1
    Disallow: /
    
    #Acoon Germany
    User-agent: Acoon
    Disallow: /
    
    #Arachmo Japan
    User-agent: Arachmo
    Disallow: /
    
    #Baiduspider China and Japan
    User-agent: Baiduspider
    Disallow: /
    
    User-agent: Baiduspider+
    Disallow: /
    
    User-agent: Baiduspider+(+http://www.baidu.com/search/spider.htm)
    Disallow: /
    
    User-agent: Baiduspider/2.0;+http://www.baidu.com/search/spider.html
    Disallow: /
    
    User-agent: Baiduspider/2.0
    Disallow: /
    
    User-agent: +Baiduspider
    Disallow: /
    
    User-agent: +Baiduspider/2.0
    Disallow: /
    
    User-agent: +Baiduspider/2.0;++http://www.baidu.com/search/spider.html
    Disallow: /
    
    User-agent: Mozilla/5.0(compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
    Disallow: /
    
    #careerbot Germany
    User-agent: careerbot
    Disallow: /
    
    #COMODOSpider/Nutch-1.2 United Kingdom
    User-agent: COMODOSpider/Nutch-1.2
    Disallow: /
    
    #EasouSpider - China
    User-agent: EasouSpider
    Disallow: /
    
    #Exabot/3.0 - France proxy scraper
    User-agent: Exabot/3.0
    Disallow: /
    
    #Exalead proxy scraper France
    User-agent: Exalead
    Disallow: /
    
    User-agent: ExaLead Crawler
    Disallow: /
    
    #Ezooms and dotbot
    User-agent: ezooms
    Disallow: /
    
    User-agent: Ezooms/1.0
    Disallow: /
    
    User-agent: DotBot             
    Disallow: /
    
    User-agent: Mozilla/5.0 (compatible; Ezooms/1.0; ezooms.bot[at]gmail[dot]com)
    Disallow: /
    
    #findlinks/2.6 Germany http://wortschatz.uni-leipzig.de/findlinks
    User-agent: findlinks/2.6
    Disallow: /
    
    #Java/1.6.0_04
    User-agent: Java/1.6.0_04
    Disallow: /
    
    #JikeSpider China
    User-agent: JikeSpider
    Disallow: /
    
    #KaloogaBot Netherlands contextual advertising
    User-agent: KaloogaBot
    Disallow: /
    
    #Mail.RU_Bot/2.0 Russia
    User-agent: Mail.RU_Bot/2.0
    Disallow: /
    #Mail.RU Russia
    User-agent: Mail.RU
    Disallow: /
    #Mail.Ru Russia
    User-agent: Mail.Ru
    Disallow: /
    User-agent: Mail.RU_Bot/2.0;  +http://go.mail.ru/help/robots
    Disallow: /
    
    #MJ12bot United Kingdom
    User-Agent: MJ12bot
    Disallow: /
    
    #MJ12bot/v1.4.3 United Kingdon
    User-Agent: MJ12bot/v1.4.3
    Disallow: /
    
    User-agent: moget
    Disallow: /
    
    #Ichiro Japan
    User-agent: Ichiro
    Disallow: /
    #Ichiro 3.0 Japan
    User-agent: Ichiro 3.0
    Disallow: /
    
    User-agent: NaverBot
    Disallow: /
    
    User-agent: Yeti
    Disallow: /
    
    #NetcraftSurveyAgent/1.0
    User-agent: NetcraftSurveyAgent/1.0
    Disallow: /
    
    #OpenWebIndex/Nutch-1.6 Germany
    User-agent: OpenWebIndex/Nutch-1.6
    Disallow: /
    User-agent: OpenWebIndex
    Disallow: /
    
    #panoptaStudyBot checks.panopta.com monitor
    User-agent: panoptaStudyBot
    Disallow: /
    
    #panoptaStudyBot checks.panopta.com monitor
    User-agent: checks.panopta.com
    Disallow: /
    
    #picsearch Sweden searches for pictures
    User-agent: psbot
    Disallow: /
    
    #plukkie Dutch (botje.nl)/Belgium (botje.be)/France (botje.fr)/United Kingdom (botje.co.uk) search engine
    User-agent: plukkie
    Disallow: /
    
    #SeznamBot Czech Republic
    User-agent: SeznamBot
    Disallow: /
    User-agent: SeznamBot/1.0
    Disallow: /
    User-agent: SeznamBot/1.1
    Disallow: /
    #SeznamBot/3.0
    User-agent: SeznamBot/3.0
    Disallow: /
    
    #SistrixCrawler Germany DE
    User-agent: SistrixCrawler
    Disallow: /
    
    User-agent: Sistrix
    Disallow: /
    
    User-agent: SISTRIX Crawler
    Disallow: /
    
    User-agent: SISTRIX
    Disallow: /
    
    # Sogou
    User-agent: sogou spider
    Disallow: /
    
    User-agent: Sogou web spider
    Disallow: /
    
    # Sosospider - China http://help.soso.com/webspider.htm
    User-agent: Sosospider+
    Disallow: /
    # Sosospider - China
    User-agent: Sosospider
    Disallow: /
    #Sosospider/2.0 - China may not obey robots.txt
    User-agent: Sosospider/2.0
    Disallow: /
    
    #360Spider China
    User-agent: 360Spider
    Disallow: /
    
    #SurveyBot
    User-agent: SurveyBot
    Disallow: /
    
    #Wada.vn Vietnamese Search/2.1
    
    User-agent: Wada.vn
    Disallow: /
    User-agent: Wada.vn Vietnamese Search
    Disallow: /
    User-agent: Wada.vn Vietnamese Search/2.1
    Disallow: /
    
    #Yandex
    User-agent: Yandex
    Disallow: /
    
    User-agent: Yandex/1.01.001
    Disallow: /
    
    User-agent: YandexBot/3.0-MirrorDetector
    Disallow: /
    
    User-agent: YandexImages/3.0
    Disallow: /
    
    User-agent: YandexSomething/1.
    Disallow: /
    
    User-agent: Yandex.com
    Disallow: /
    
    User-agent: YandexBot/3.0
    Disallow: /
    
    #YisouSpider China
    User-agent: YisouSpider
    Disallow: /
    
    #YoudaoBot/1.0 China
    User-agent: YoudaoBot/1.0
    Disallow: /
    #YoudaoBot China
    User-agent: YoudaoBot/1.0
    Disallow: /
    
    #Zao - Japan
    User-agent: Zao
    Disallow: /
     
  7. notpeople

    notpeople Thượng Đế

    Tham gia:
    27/09/2015
    Bài viết:
    60
    Đã được thích:
    41
    Điểm thành tích:
    18
    Giới tính:
    Nam
    Nơi ở:
    HCM
    Web:
    Mình nghĩ việc disallow những công cụ như ahrefs là điều không cần thiết :D
     
    seoben and THB like this.
  8. Jindo_Katori

    Jindo_Katori Thượng Đế

    Tham gia:
    01/03/2015
    Bài viết:
    1,463
    Đã được thích:
    1,114
    Điểm thành tích:
    113
    Giới tính:
    Nam
    Nghề nghiệp:
    http://tuyhoaplus.com
    Nơi ở:
    http://tuyhoaplus.com
    Web:
    Untitled.png
    Đã kiểm tra. Không vấn đề gì bác
    Nhân tiện có bác @THB @PVS (hay leech bài chèn tag) mình hỏi cái về key tag luôn
    1. Xentag của tinhte mình thấy nó tự addlink vào từ khóa, còn content tag mặc định của xen không có hả bác
    2. Sau khi mình add tag xong thì không thấy tag nằm ở đâu trong bài viết cả? Và cũng không tìm thấy chỗ để edit tag nhưng tra http://tuyhoaplus.com/tags thì vẫn có tag đã add thành công?
    2.png
    Tại vấn đề này mình đang tìm hiểu ở thread "content tag..." bên kia bị mấy bác vào chém nhau dữ quá.
     
    THB thích bài này.
  9. seoben

    seoben Thượng Đế

    Tham gia:
    13/05/2016
    Bài viết:
    75
    Đã được thích:
    63
    Điểm thành tích:
    18
    Giới tính:
    Nam
    Nơi ở:
    HN
    Web:
    Site mình đang chặn một loạt luông. Đã seo phải giữ kín để đối thủ phân tích hết, có quần áo cũng như không thì không nên đâu bạn hee.
    Thích chặn thì vô đây http://seomods.co.uk/cach-chan-het-cac-site-phan-tich-backlink-bot-ahrefs-majesticseo-spam-bot.t15
    Chặn hết luôn các loại bot không cần thiết chỉ để mình google bing yahoo crawl thôi.
     
    THB and Jindo_Katori like this.
  10. Jindo_Katori

    Jindo_Katori Thượng Đế

    Tham gia:
    01/03/2015
    Bài viết:
    1,463
    Đã được thích:
    1,114
    Điểm thành tích:
    113
    Giới tính:
    Nam
    Nghề nghiệp:
    http://tuyhoaplus.com
    Nơi ở:
    http://tuyhoaplus.com
    Web:
    Bữa nào rãnh kết hợp thêm sớ disfollow của bác nữa là thành thiên la địa võng luôn rofl~~
     
    THB thích bài này.
  11. singh

    singh Thượng Đế

    Tham gia:
    08/06/2015
    Bài viết:
    460
    Đã được thích:
    247
    Điểm thành tích:
    43
    Giới tính:
    Nam
    Nghề nghiệp:
    Design
    Nơi ở:
    ho chi minh
    Web:
    file nào chuẩn seo nhất vậy các bạn? hiện tại web mình đang bị chặn vì robot rất nhiều link
     
    THB thích bài này.
  12. tqhuy

    tqhuy Thượng Đế

    Tham gia:
    30/05/2017
    Bài viết:
    39
    Đã được thích:
    7
    Điểm thành tích:
    8
    Giới tính:
    Nam
    Chỉnh sửa cuối: 26/08/2017
  13. newbean

    newbean Thượng Đế

    Tham gia:
    10/05/2017
    Bài viết:
    48
    Đã được thích:
    32
    Điểm thành tích:
    18
    Giới tính:
    Nam
    Theo ý kiến riêng của mình thì k cần thiết phải chặn quá nhiều trong robots. chỉ cần điều hướng tổng quan thôi. Mình cũng seo nhiều website mà
     
  14. newbean

    newbean Thượng Đế

    Tham gia:
    10/05/2017
    Bài viết:
    48
    Đã được thích:
    32
    Điểm thành tích:
    18
    Giới tính:
    Nam
    @tqhuy Tốt nhất bạn nên đưa về sitemap.xml để master tool lập chỉ mục. xenfo có chức năng tự cạp nhật sitemap nên đó là 1 lợi thế chứ k như các mã nguồn khác. Như mình đang làm 1 web về đăng tin nhà đất . hiện đang có gần 5000 urls nên cũng vất vả khoản sitemap
     
  15. antinphat

    antinphat Thượng Đế

    Tham gia:
    17/05/2019
    Bài viết:
    89
    Đã được thích:
    14
    Điểm thành tích:
    8
    Giới tính:
    Nam
    Nơi ở:
    hcm
    Mình chom của VNXF :D
     

Chia sẻ trang này