Google рдХреЗ рдЦреЛрдЬ рдХреНрд░реЙрд▓рд░ рд▓рдЧрд╛рддрд╛рд░ рд╕рд╛рдЗрдЯреЛрдВ рдХреЗ рдЕрдкреЗрдХреНрд╖рд╛рдХреГрдд рдмрдВрдж рд╣рд┐рд╕реНрд╕реЛрдВ рддрдХ рдкрд╣реБрдВрдЪ рдкреНрд░рд╛рдкреНрдд рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рд╕реБрдзрд╛рд░ рдХрд░ рд░рд╣реЗ рд╣реИрдВред 2008 рдореЗрдВ, Googlebot рдиреЗ GET рдлреЙрд░реНрдо рд╕рдмрдорд┐рдЯ рдХрд░рдирд╛ рд╢реБрд░реВ рдХрд┐рдпрд╛ рдФрд░ рдЗрд╕ рд╕рд╛рд▓ рдЧрд░реНрдорд┐рдпреЛрдВ рдореЗрдВ рдЗрд╕рдиреЗ
рдЬрд╛рд╡рд╛рд╕реНрдХреНрд░рд┐рдкреНрдЯ рдХреЛ рдХреНрд░рд┐рдпрд╛рдиреНрд╡рд┐рдд рдХрд░рдирд╛ рд╢реБрд░реВ
рдХрд░ рджрд┐рдпрд╛ред рдЕрдм POST рд╡рд┐рдзрд┐ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ рдбреЗрдЯрд╛ рдХреЛ рд╕рд░реНрд╡рд░ рдореЗрдВ рд╕реНрдерд╛рдирд╛рдВрддрд░рд┐рдд рдХрд░рдирд╛ рдЖрддрд╛ рд╣реИред
рд╡реЗрдмрдорд╛рд╕реНрдЯрд░ thumbtack.com рд╕рд┐рддрдВрдмрд░-рдЕрдХреНрдЯреВрдмрд░ 2011 рдХреЗ рд▓рд┐рдП рдЕрдкрд╛рдЪреЗ рд▓реЙрдЧ рдореЗрдВ рдРрд╕реЗ рдЕрдиреБрд░реЛрдзреЛрдВ рдХреЗ рдЙрджрд╛рд╣рд░рдг
рджрд┐рдЦрд╛рддрд╛ рд╣реИ ред
рдЕрдиреБрд░реЛрдз рдЖрдИрдкреА рдкрддреЗ рд╕реЗ рдЖрддреЗ рд╣реИрдВ рдЬреЛ рд╡рд╛рд╕реНрддрд╡ рдореЗрдВ Google рдХреНрд░реЙрд▓рд░ рдХреЗ рд╣реИрдВ: 66.249.71.47, 66.249.72.198, 66.249.72.207ред
66.249.71.47 - - [04 / рд╕рд┐рдкрд╛рд╣реА / 2011: 04: 53: 52 +0000] "POST / рдЕрдзрд┐рдирд┐рдпрдо / рд╕рд╛рдЗрдЯ / рдкрд╛рджрд░реА HTTP / 1.1" 200 36 "http://www.thumbtack.com/ma/malden/dog -рд╡рд╛рдХрд┐рдВрдЧ / рдбреЙрдЧ-рд╡реЙрдХрд┐рдВрдЧ-рдПрдВрдб-рдкреЗрдЯ-рдХреЗрдпрд░-рд╕рд░реНрд╡рд┐рд╕реЗрдЬ "" рдореЛрдЬрд╝рд┐рд▓рд╛ / 5.0 (рд╕рдВрдЧрдд; Googlebot / 2.1 ;; http: //www.google.com/bot.html) "
66.249.72.198 - - [25 / рд╕рд┐рдкрд╛рд╣реА / 2011: 04: 27: 50 +0000] "POST / рдЕрдзрд┐рдирд┐рдпрдо / рд╕рд╛рдЗрдЯ / clienterror HTTP / 1.1" 200 36 "http://www.thumbtack.com/ca/solana-beach / рд╡реЗрдбрд┐рдВрдЧ-рдлрд╝реЛрдЯреЛрдЧреНрд░рд╛рдлрд╝рд░ / рдлрд╝реЛрдЯреЛрдЧреНрд░рд╛рдлрд╝реА-рдХреИрд░реА-рдкреЗрдирд┐рдВрдЧрдЯрди-рдлрд╝реЛрдЯреЛрдЧреНрд░рд╛рдлрд╝реА "" рдореЛрдЬрд╝рд┐рд▓рд╛ / 5.0 (рд╕рдВрдЧрдд; Googlebot / 2.1; + http: //www.google.com/bot.html) "
66.249.72.207 - - [04 / рдЕрдХреНрдЯреВрдмрд░ / 2011: 09: 53: 08 +0000] "POST / рдЕрдзрд┐рдирд┐рдпрдо / рд╕рд╛рдЗрдЯ / clienterror HTTP / 1.1" 200 36 "http://www.thumbtack.com/tx/san-antonio / рдкреЗрдВрдЯрд┐рдВрдЧ / рдЖрд╡рд╛рд╕реАрдп-рд╡рд╛рдгрд┐рдЬреНрдпрд┐рдХ-рдирд┐рд░реНрдорд╛рдг-рд╕реЗрд╡рд╛рдПрдБ "" рдореЛрдЬрд╝рд┐рд▓рд╛ / 5.0 (рд╕рдВрдЧрдд; Googlebot / 2.1; + http: //www.google.com/bot.com) "
Thumbtack.com рдкрд░, рдпреЗ POST рдЕрдиреБрд░реЛрдз рдПрдХ рддреНрд░реБрдЯрд┐ рдирд┐рдЧрд░рд╛рдиреА рд╕реНрдХреНрд░рд┐рдкреНрдЯ рджреНрд╡рд╛рд░рд╛ рдЙрддреНрдкрдиреНрди рд╣реЛрддреЗ рд╣реИрдВ рдЬреЛ рдЙрдиреНрд╣реЗрдВ рд╕рд░реНрд╡рд░ рдкрд░ рд░рд┐рдкреЛрд░реНрдЯ рдХрд░рдиреЗ рдХрд╛ рдкреНрд░рдпрд╛рд╕ рдХрд░рддрд╛ рд╣реИред Google рдХреЗ рдЕрдиреБрд░реЛрдзреЛрдВ рдореЗрдВ рднреА рдРрд╕реА рдЬрд╛рдирдХрд╛рд░реА рд╣реЛрддреА рд╣реИ, рдЬрд╛рд╣рд┐рд░ рд╣реИ, рд░реЛрдмреЛрдЯ рд╕реНрдХреНрд░рд┐рдкреНрдЯ рдХрд╛ рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдХрд░рдиреЗ рдореЗрдВ рд╕рдХреНрд╖рдо рдерд╛ред рдХреНрд░реЙрд▓рд░ рдХрд╛ рдпрд╣ рд╡реНрдпрд╡рд╣рд╛рд░ рд╕рд╛рдЗрдЯ рдХреЛ рдХреЛрдИ рдиреБрдХрд╕рд╛рди рдирд╣реАрдВ рдкрд╣реБрдВрдЪрд╛рддрд╛ рд╣реИ, рдЗрд╕рд▓рд┐рдП рдЗрд╕реЗ рд╕рд╛рдорд╛рдиреНрдп рдорд╛рдирд╛ рдЬрд╛ рд╕рдХрддрд╛ рд╣реИред рд╣рд╛рд▓рд╛рдВрдХрд┐, рдмреЙрдЯ рдХрд╛ рдмреБрджреНрдзрд┐рдорд╛рди рд╡реНрдпрд╡рд╣рд╛рд░ рдЖрд╢реНрдЪрд░реНрдпрдЬрдирдХ рд╣реИред