From a474c9a06dce31ea87aa6af916f8acb34b3b0b07 Mon Sep 17 00:00:00 2001 From: "Rico Sta. Cruz" Date: Mon, 25 Sep 2017 17:48:07 +0800 Subject: [PATCH] Let all the robots in now --- robots.txt | 326 +---------------------------------------------------- 1 file changed, 1 insertion(+), 325 deletions(-) diff --git a/robots.txt b/robots.txt index f18f64c1..eb053628 100644 --- a/robots.txt +++ b/robots.txt @@ -1,326 +1,2 @@ User-agent: * -Disallow: /101 -Disallow: /activeadmin -Disallow: /analytics -Disallow: /angularjs -Disallow: /animated_gif -Disallow: /ansi -Disallow: /ansible-examples -Disallow: /ansible-guide -Disallow: /ansible-modules -Disallow: /ansible-roles -Disallow: /ansible -Disallow: /appcache -Disallow: /applescript -Disallow: /applinks -Disallow: /arel -Disallow: /atom -Disallow: /awesome-redux -Disallow: /awscli -Disallow: /backbone -Disallow: /badges -Disallow: /bash -Disallow: /blessed -Disallow: /bluebird -Disallow: /bookshelf-contrib -Disallow: /bookshelf -Disallow: /bootstrap -Disallow: /browser-sync -Disallow: /browserify -Disallow: /brunch -Disallow: /bundler -Disallow: /c_preprocessor -Disallow: /camp -Disallow: /canvas -Disallow: /capybara -Disallow: /cask-index -Disallow: /chai -Disallow: /cheatsheet-styles -Disallow: /chef -Disallow: /chunky_png -Disallow: /cidr -Disallow: /circle -Disallow: /co -Disallow: /command_line -Disallow: /commander-js -Disallow: /commander.js -Disallow: /cordova -Disallow: /cron -Disallow: /crypto -Disallow: /css-animation -Disallow: /css-antialias -Disallow: /css-background -Disallow: /css-flexbox -Disallow: /css-font -Disallow: /css-selectors -Disallow: /css-system-font-stack -Disallow: /css-tricks -Disallow: /css -Disallow: /cssnext -Disallow: /curl -Disallow: /date -Disallow: /datetime -Disallow: /deis -Disallow: /deku -Disallow: /deku@1 -Disallow: /deprecated/bower-api -Disallow: /devise -Disallow: /divshot -Disallow: /do -Disallow: /docker-compose -Disallow: /docker -Disallow: /dockerfile -Disallow: /dom-range -Disallow: /dom-selection -Disallow: /ec2 -Disallow: /editorconfig -Disallow: /elixir-metaprogramming -Disallow: /elixir -Disallow: /emacs -Disallow: /ember -Disallow: /enzyme -Disallow: /es2015 -Disallow: /es2016 -Disallow: /es2017 -Disallow: /es6 -Disallow: /ets -Disallow: /expect.js -Disallow: /expectjs -Disallow: /express -Disallow: /extras/ios -Disallow: /exunit -Disallow: /factory_girl -Disallow: /fastify -Disallow: /ffaker -Disallow: /ffmpeg -Disallow: /find -Disallow: /firebase -Disallow: /firefox -Disallow: /fish-shell -Disallow: /fitness/general -Disallow: /fitness/micronutrients -Disallow: /fitness/phat -Disallow: /flashlight -Disallow: /flow -Disallow: /flowtype -Disallow: /flux -Disallow: /flynn -Disallow: /freenode -Disallow: /frequency-separation-retouching -Disallow: /gh-pages -Disallow: /git-branch -Disallow: /git-extras -Disallow: /git-log-format -Disallow: /git-log -Disallow: /git-revisions -Disallow: /git-tricks -Disallow: /gmail -Disallow: /go -Disallow: /google-webfonts -Disallow: /google_analytics -Disallow: /graphql -Disallow: /gremlins -Disallow: /gulp -Disallow: /handlebars-js -Disallow: /handlebars.js -Disallow: /harvey-js -Disallow: /harvey.js -Disallow: /heroku -Disallow: /hledger -Disallow: /homebrew -Disallow: /html-email -Disallow: /html-input -Disallow: /html-meta -Disallow: /html-microformats -Disallow: /html-share -Disallow: /html -Disallow: /httpie -Disallow: /ie -Disallow: /ie_bugs -Disallow: /imagemagick -Disallow: /immutable-js -Disallow: /immutable.js -Disallow: /index -Disallow: /index@2016 -Disallow: /inkscape -Disallow: /inline-docs -Disallow: /ios-provision -Disallow: /jade -Disallow: /jasmine -Disallow: /javascript-workers -Disallow: /jekyll-github -Disallow: /jekyll -Disallow: /jest -Disallow: /jquery-cdn -Disallow: /jquery -Disallow: /js-appcache -Disallow: /js-array -Disallow: /js-date -Disallow: /js-fetch -Disallow: /js-lazy -Disallow: /js-model -Disallow: /js-speech -Disallow: /jscoverage -Disallow: /jsdoc -Disallow: /jshint -Disallow: /knex -Disallow: /koa -Disallow: /kramdown -Disallow: /layout-thrashing -Disallow: /ledger-csv -Disallow: /ledger-examples -Disallow: /ledger-format -Disallow: /ledger-periods -Disallow: /ledger-query -Disallow: /ledger -Disallow: /less -Disallow: /licenses -Disallow: /linux -Disallow: /lodash -Disallow: /lua -Disallow: /machinist -Disallow: /make-assets -Disallow: /makefile -Disallow: /man -Disallow: /markdown -Disallow: /meow -Disallow: /meta-tags -Disallow: /metalsmith -Disallow: /middleman -Disallow: /minimist -Disallow: /minitest -Disallow: /mobx -Disallow: /mocha-blanket -Disallow: /mocha-html -Disallow: /mocha-tdd -Disallow: /mocha -Disallow: /modella -Disallow: /modernizr -Disallow: /moment -Disallow: /mongodb -Disallow: /ncftp -Disallow: /nock -Disallow: /nodejs-assert -Disallow: /nodejs-fs -Disallow: /nodejs-path -Disallow: /nodejs-process -Disallow: /nodejs-stream -Disallow: /nodejs -Disallow: /nopt -Disallow: /npm -Disallow: /osx -Disallow: /package.json -Disallow: /package -Disallow: /parsimmon -Disallow: /parsley -Disallow: /pass -Disallow: /passenger -Disallow: /perl-pie -Disallow: /plantuml -Disallow: /postgresql-json -Disallow: /postgresql -Disallow: /premailer -Disallow: /projectionist -Disallow: /promise -Disallow: /pry -Disallow: /psdrb -Disallow: /pug -Disallow: /python -Disallow: /qjs -Disallow: /qunit -Disallow: /rack-test -Disallow: /rails-controllers -Disallow: /rails-features -Disallow: /rails-forms -Disallow: /rails-gems -Disallow: /rails-helpers -Disallow: /rails-i18n -Disallow: /rails-migrations -Disallow: /rails-models -Disallow: /rails-plugins -Disallow: /rails-routes -Disallow: /rails-tricks -Disallow: /rails -Disallow: /rake -Disallow: /rdoc -Disallow: /react-router -Disallow: /react -Disallow: /react@0.14 -Disallow: /redux -Disallow: /regexp -Disallow: /rename -Disallow: /resolutions -Disallow: /rest-api -Disallow: /riot -Disallow: /ronn -Disallow: /rspec-rails -Disallow: /rspec -Disallow: /rst -Disallow: /rsync -Disallow: /rtorrent -Disallow: /rubiks -Disallow: /ruby -Disallow: /ruby21 -Disallow: /rubygems -Disallow: /sass -Disallow: /saucelabs -Disallow: /sed -Disallow: /semver -Disallow: /sequel -Disallow: /sequelize -Disallow: /sh-pipes -Disallow: /sh -Disallow: /shelljs -Disallow: /siege -Disallow: /simple_form -Disallow: /sinon-chai -Disallow: /sinon -Disallow: /sketch -Disallow: /slim -Disallow: /social-images -Disallow: /spine -Disallow: /spreadsheet -Disallow: /sql-join -Disallow: /stylus -Disallow: /sublime-text -Disallow: /superagent -Disallow: /tabular -Disallow: /tape -Disallow: /textile -Disallow: /tig -Disallow: /tmux -Disallow: /tomdoc -Disallow: /travis-gh-pages -Disallow: /travis -Disallow: /typescript -Disallow: /ubuntu -Disallow: /umdjs -Disallow: /underscore-string -Disallow: /unicode -Disallow: /vagrant -Disallow: /vagrantfile -Disallow: /vainglory -Disallow: /vim-digraphs -Disallow: /vim-easyalign -Disallow: /vim-help -Disallow: /vim-rails -Disallow: /vim-unite -Disallow: /vim -Disallow: /vimscript-functions -Disallow: /vimscript-snippets -Disallow: /vimscript -Disallow: /virtual-dom -Disallow: /vows -Disallow: /vue -Disallow: /watchman -Disallow: /webpack -Disallow: /weechat -Disallow: /weinre -Disallow: /wip/absinthe -Disallow: /xpath -Disallow: /yaml -Disallow: /yargs -Disallow: /yarn -Disallow: /znc -Disallow: /zombie -Disallow: /zsh +Disallow: