Report for General Profile: Spiders

Time range: Fri, Apr-01-2005 0:00:34 AM - Tue, Apr-26-2005 23:56:12 PM

Spiders

Daily Spider Activity




Top Spiders




Top Spiders

  

 Spider 

 Hits 

 % of Total 

 Visits 

 1 

 Internetseer Web site monitoring Spider 

 605 

 19.47% 

 605 

 2 

 Yahoo Spider 

 574 

 18.47% 

 555 

 3 

 SoftHypermarketFileCheckBot/ 1.0+(+http:/ / www.softhypermaket.com) 

 220 

  7.08% 

 22 

 4 

 Agent-SharewarePlazaFileCheckBot/ 2.0+(+http:/ / www.SharewarePlaza.com) 

 213 

  6.86% 

 33 

 5 

 IRLbot/1.0 (+http://irl.cs.tamu.edu/ crawler) 

 210 

  6.76% 

 50 

 6 

 MSN Spider 

 186 

  5.99% 

 78 

 7 

 MSIECrawler 

 164 

  5.28% 

 39 

 8 

 Google Spider 

 158 

  5.09% 

 92 

 9 

 Wisenut Spider 

 122 

  3.93% 

 114 

 10 

 Wespe.de Spider 

 119 

  3.83% 

 109 

 11 

 Speedy Spider 

 68 

  2.19% 

 23 

 12 

 OmniExplorer_Bot/1.18 (+http:/ / www.omni-explorer.com) Torrent Crawler 

 61 

  1.96% 

 2 

 13 

 aipbot/1.0 (aipbot; http:/ / www.aipbot.com; aipbot@aipbot.com) 

 53 

  1.71% 

 27 

 14 

 Ask Jeeves Spider 

 40 

  1.29% 

 18 

 15 

 Google image crawler 

 31 

  1.00% 

 10 

 16 

 Feedster Crawler/1.0; Feedster, Inc. 

 30 

  0.97% 

 2 

 17 

 itLocation-PADBot (http:/ / www.itlocation.com) 

 28 

  0.90% 

 28 

 18 

 Gigabot Spider 

 26 

  0.84% 

 22 

 19 

 Mozilla/4.0 (compatible; SpeedySpider; ww w.entireweb.com) 

 24 

  0.77% 

 6 

 20 

 Mozilla/5.0 (compatible; BecomeBot/ 1.83; MSIE 6.0 compatible; +http:/ / www.become.com/ site_owners.html) 

 21 

  0.68% 

 2 

 21 

 Alexa Spider 

 16 

  0.51% 

 9 

 22 

 NutchCVS/0.06-dev (Nutch; http:/ / www.nutch.org/ docs/ en/ bot.html; nutch-agent@lists.sourceforge.n et) 

 15 

  0.48% 

 9 

 23 

 Unitix PAD Spider (for more info see http :/ / unitix.com) 

 12 

  0.39% 

 6 

 24 

 Voila.FR Spider 

 12 

  0.39% 

 6 

 25 

 SoftdllSpider/1.0 (+http:/ / www.freesoftdownloads.com/ spider.html) 

 8 

  0.26% 

 8 

 26 

 hl_ftien_spider 

 8 

  0.26% 

 4 

 27 

 Mozilla/4.0 (compatible; MSIE 5.0; Window s NT; Girafabot; girafabot at girafa dot com; http:/ / www.girafa.com) 

 8 

  0.26% 

 2 

 28 

 Mozilla/5.0 (compatible; BecomeBot/ 2.2.5; MSIE 6.0 compatible; +http:/ / www.become.com/ site_owners.html) 

 7 

  0.23% 

 4 

 29 

 BaiDu Spider 

 6 

  0.19% 

 5 

 30 

 search.ch V1.4.2 (spiderman@search.ch; ht tp:/ / www.search.ch) 

 6 

  0.19% 

 4 

 31 

 http://www.almaden.ibm.com/ cs/ crawler [fc3] 

 6 

  0.19% 

 3 

 32 

 Mozdex/0.06-dev (Mozdex; http:/ / www.mozdex.com/ bot.html; spider@mozdex.com) 

 5 

  0.16% 

 3 

 33 

 ObjectsSearch/0.06 (ObjectsSearch; http:/ / www.ObjectsSearch.com/ bot.html; support@thesoftwareobjects.com)  

 4 

  0.13% 

 2 

 34 

 SurveyBot/2.3 (Whois Source) 

 4 

  0.13% 

 4 

 35 

 SoftHuntersbot/1.1 (+http:/ / www.softhunters.com) 

 4 

  0.13% 

 4 

 36 

 Media Find crawler 

 3 

  0.10% 

 2 

 37 

 http://www.almaden.ibm.com/ cs/ crawler [bc36] 

 3 

  0.10% 

 2 

 38 

 Clushbot/3.41-BinaryFury (+http:/ / www.clush.com/ bot.html) 

 2 

  0.06% 

 2 

 39 

 snap.com beta crawler v0 

 2 

  0.06% 

 2 

 40 

 Clushbot/3.42-BinaryFury (+http:/ / www.clush.com/ bot.html) 

 2 

  0.06% 

 2 

 41 

 MojeekBot/0.2 (archi; http:/ / www.mojeek.com/ bot.html) 

 2 

  0.06% 

 2 

 42 

 Softizerbot (http://www.softizer.com) 

 2 

  0.06% 

 2 

 43 

 EasyDL/3.04 http://keywen.com/ Encyclopedia/ Bot 

 2 

  0.06% 

 1 

 44 

 abot/0.1 (abot; http:/ / www.abot.com; abot@abot.com) 

 2 

  0.06% 

 1 

 45 

 NutchCVS/0.06-dev (Nutch; http:/ / www.s14g.com/ en/ search.html; travelbot@s14g.com) 

 2 

  0.06% 

 1 

 46 

 Clushbot/3.38-BinaryFury (+http:/ / www.clush.com/ bot.html) 

 2 

  0.06% 

 2 

 47 

 MJ12bot/v1.0.0 (http:/ / majestic12.co.uk/ bot.php? +) 

 2 

  0.06% 

 1 

 48 

 Helmdall (webmaster@crawler.com) 

 1 

  0.03% 

 1 

 49 

 SeznamBot/1.0 (+http:/ / fulltext.seznam.cz/ ) 

 1 

  0.03% 

 1 

 50 

 McBot/5.001 (windows; U; NT4.0; en-us) 

 1 

  0.03% 

 1 

  

 Subtotal 

 3,103 

 99.87% 

 1,933 

  

 Total 

 3,107 

 100.00% 

 1,935 



Top Spider IP

  

 IP 

 Country 

 Hits 

 Visits 

 Bandwidth 

 1 

 63.238.163.75
 cavtel.net (Internetseer Web site monitoring Spider) 

 United States 

 605 

 605 

 0 Bytes 

 2 

 69.93.56.82
 ipxf.net (Unknown Spider) 

 United States 

 220 

 22 

 0 Bytes 

 3 

 67.19.157.42
 theplanet.com (Unknown Spider) 

 United States 

 216 

 36 

 9.53 KB 

 4 

 128.194.135.83
 tamu.edu (Unknown Spider) 

 United States 

 202 

 48 

 62.80 KB 

 5 

 24.187.132.177
 optonline.net (MSIECrawler) 

 United States 

 112 

 26 

 0 Bytes 

 6 

 64.242.88.50
 looksmart.com (Wisenut Spider) 

 United States 

 110 

 103 

 705.26 KB 

 7 

 65.54.188.131
 msn.com (MSN Spider) 

 United States 

 82 

 29 

 430.11 KB 

 8 

 68.142.251.209
 inktomisearch.com (Yahoo Spider) 

 United States 

 76 

 76 

 0 Bytes 

 9 

 64.62.175.137
 he.net (Unknown Spider) 

 United States 

 61 

 2 

 557.25 KB 

 10 

 207.68.146.55
 msn.net (MSN Spider) 

 United States 

 56 

 30 

 212.68 KB 

 11 

 62.2.173.19
 cablecom.ch (Unknown Spider) 

 Switzerland 

 56 

 28 

 257.03 KB 

 12 

 24.177.134.6
 charter.com (Unknown Spider) 

 United States 

 55 

 28 

 592.39 KB 

 13 

 62.13.25.221
 sverige.net (Speedy Spider) 

 Sweden 

 53 

 18 

 6.22 KB 

 14 

 216.55.133.27
 abac.net (Wespe.de Spider) 

 United States 

 52 

 50 

 477.34 KB 

 15 

 217.16.26.114
 masterhost.ru (Wespe.de Spider) 

 Russian Federation 

 50 

 50 

 458.98 KB 

 16 

 68.142.250.207
 inktomisearch.com (Yahoo Spider) 

 United States 

 49 

 46 

 0 Bytes 

 17 

 24.189.194.163
 optonline.net (MSIECrawler) 

 United States 

 43 

 7 

 64.08 KB 

 18 

 66.249.65.162
 google.com (Google image crawler) 

 United States 

 41 

 11 

 538.52 KB 

 19 

 68.142.251.24
 inktomisearch.com (Yahoo Spider) 

 United States 

 33 

 30 

 0 Bytes 

 20 

 66.151.189.11
 colospace.com (Unknown Spider) 

 United States 

 30 

 2 

 9.50 KB 

 21 

 62.13.25.237
 sverige.net (Unknown Spider) 

 Sweden 

 24 

 6 

 2.98 KB 

 22 

 68.142.251.62
 inktomisearch.com (Yahoo Spider) 

 United States 

 21 

 19 

 0 Bytes 

 23 

 68.142.251.21
 inktomisearch.com (Yahoo Spider) 

 United States 

 21 

 21 

 0 Bytes 

 24 

 65.54.188.132
 msn.com (MSN Spider) 

 United States 

 17 

 3 

 109.30 KB 

 25 

 68.142.250.143
 inktomisearch.com (Yahoo Spider) 

 United States 

 17 

 15 

 0 Bytes 

 26 

 68.142.250.156
 inktomisearch.com (Yahoo Spider) 

 United States 

 17 

 17 

 6.34 KB 

 27 

 64.124.85.204
 become.com (Unknown Spider) 

 United States 

 16 

 1 

 133.32 KB 

 28 

 62.13.25.219
 sverige.net (Speedy Spider) 

 Sweden 

 15 

 5 

 1.82 KB 

 29 

 207.68.146.62
 msn.net (MSN Spider) 

 United States 

 15 

 8 

 66.81 KB 

 30 

 62.79.25.35
 vbr.tiscali.dk (Unknown Spider) 

 Denmark 

 12 

 6 

 53.81 KB 

 31 

 68.142.250.208
 inktomisearch.com (Yahoo Spider) 

 United States 

 12 

 12 

 0 Bytes 

 32 

 64.242.88.10
 looksmart.com (Wisenut Spider) 

 United States 

 12 

 11 

 75.73 KB 

 33 

 68.142.251.148
 inktomisearch.com (Yahoo Spider) 

 United States 

 10 

 10 

 382 Bytes 

 34 

 68.142.249.117
 inktomisearch.com (Yahoo Spider) 

 United States 

 10 

 10 

 33.38 KB 

 35 

 209.237.238.179 (Alexa Spider) 

 United States 

 10 

 5 

 41.60 KB 

 36 

 193.252.148.209
 x-echo.com (Voila.FR Spider) 

 France 

 10 

 5 

 16.50 KB 

 37 

 66.196.90.223
 inktomisearch.com (Yahoo Spider) 

 United States 

 9 

 9 

 0 Bytes 

 38 

 64.62.168.31
 he.net (Gigabot Spider) 

 United States 

 9 

 8 

 0 Bytes 

 39 

 68.142.251.172
 inktomisearch.com (Yahoo Spider) 

 United States 

 9 

 9 

 2.50 MB 

 40 

 66.147.154.3 (Unknown Spider) 

 United States 

 9 

 5 

 22.95 KB 

 41 

 66.249.64.66
 google.com (Google Spider) 

 United States 

 8 

 5 

 1.34 MB 

 42 

 66.148.86.163
 hopone.net (Unknown Spider) 

 United States 

 8 

 8 

 75.78 KB 

 43 

 66.249.71.32
 google.com (Google Spider) 

 United States 

 7 

 4 

 1.64 MB 

 44 

 68.142.250.51
 inktomisearch.com (Yahoo Spider) 

 United States 

 7 

 4 

 1.97 KB 

 45 

 66.249.71.69
 google.com (Google Spider) 

 United States 

 7 

 4 

 1.64 MB 

 46 

 66.249.71.57
 google.com (Google Spider) 

 United States 

 7 

 5 

 630 Bytes 

 47 

 64.124.85.209
 become.com (Unknown Spider) 

 United States 

 7 

 4 

 42.05 KB 

 48 

 64.62.168.21
 he.net (Gigabot Spider) 

 United States 

 6 

 3 

 1.97 KB 

 49 

 209.249.80.242
 infospider.com (Unknown Spider) 

 United States 

 6 

 6 

 2.17 KB 

 50 

 66.249.64.50
 google.com (Google Spider) 

 United States 

 6 

 3 

 0 Bytes 

  

 Subtotal 

  

 2,546 

 1,478 

 12.07 MB 

  

 Total 

  

 3,107 

 1,935 

 63.31 MB 



Top Pages (Which are never accessed by Spider)

  

 Pages 

 Pageview 

 % of Total  Pageviews 

 Visits 

 % of Total  Visits 

 Bandwidth 

 Average Visit Length 

 Average Time Taken(ms) 

 1 

 /cx_localization.htm 

 249 

  4.47% 

 225 

  1.18% 

 84.98 KB 

 0:47 

 134 

 2 

 Index of /downloads 
 /downloads/ 

 33 

  0.59% 

 16 

  0.08% 

 9.50 KB 

 0:07 

 137 

 3 

 0 

 27 

  0.48% 

 17 

  0.09% 

 8.73 KB 

 0:55 

 134 

 4 

 /cw_home.htm?AfID=14660 

 3 

  0.05% 

 3 

  0.02% 

 1.12 KB 

 0:00 

 47 

 5 

 /MSOffice/cltreq.asp? UL= 1& ACT= 4& BUILD= 2614& STRMVER= 4& CAPREQ= 0 

 2 

  0.04% 

 2 

  0.01% 

 0 Bytes 

 0:00 

 95 

 6 

 Cool Find, File Find Tool, File Search Tool for Windows - Home 
 /images/ 

 2 

  0.04% 

 1 

  0.01% 

 16.72 KB 

 1:22 

 222 

 7 

 /instmsg/aliases/bloomfield 

 1 

  0.02% 

 1 

  0.01% 

 0 Bytes 

 0:00 

 210 

 8 

 /downloads/ch 

 1 

  0.02% 

 1 

  0.01% 

 0 Bytes 

 0:00 

 52 

 9 

 /NoThisPageXX.asp 

 1 

  0.02% 

 1 

  0.01% 

 0 Bytes 

 0:00 

 210 

 10 

 Index of /downloads 
 /downloads 

 1 

  0.02% 

 1 

  0.01% 

 327 Bytes 

 0:01 

 29 

 11 

 /cw_home.htm/ 

 1 

  0.02% 

 1 

  0.01% 

 0 Bytes 

 0:00 

 97 

 12 

 /changerxp/screen_shots.htm 

 1 

  0.02% 

 1 

  0.01% 

 0 Bytes 

 0:00 

 264 

 13 

 /cw_home.htm?AfID=20542 

 1 

  0.02% 

 1 

  0.01% 

 382 Bytes 

 0:00 

 37 

  

 Subtotal 

 323 

  5.80% 

 N/A 

 N/A 

 121.73 KB 

 N/A 

 978 

  

 Total 

 5,570 

 100% 

 N/A 

 N/A 

 5,246.39 MB 

 N/A