Report for General Profile: Spiders

Time range: Sun, Mar-27-2005 0:07:47 AM - Tue, Apr-26-2005 23:56:12 PM

Spiders

Daily Spider Activity




Top Spiders




Top Spiders

  

 Spider 

 Hits 

 % of Total 

 Visits 

 1 

 Internetseer Web site monitoring Spider 

 722 

 19.58% 

 722 

 2 

 Yahoo Spider 

 704 

 19.09% 

 678 

 3 

 SoftHypermarketFileCheckBot/ 1.0+(+http:/ / www.softhypermaket.com) 

 260 

  7.05% 

 26 

 4 

 Agent-SharewarePlazaFileCheckBot/ 2.0+(+http:/ / www.SharewarePlaza.com) 

 237 

  6.43% 

 37 

 5 

 IRLbot/1.0 (+http://irl.cs.tamu.edu/ crawler) 

 226 

  6.13% 

 54 

 6 

 MSIECrawler 

 223 

  6.05% 

 51 

 7 

 Google Spider 

 195 

  5.29% 

 116 

 8 

 MSN Spider 

 190 

  5.15% 

 80 

 9 

 Wespe.de Spider 

 145 

  3.93% 

 133 

 10 

 Wisenut Spider 

 136 

  3.69% 

 128 

 11 

 Speedy Spider 

 68 

  1.84% 

 23 

 12 

 OmniExplorer_Bot/1.18 (+http:/ / www.omni-explorer.com) Torrent Crawler 

 61 

  1.65% 

 2 

 13 

 Mozilla/4.0 (compatible; SpeedySpider; ww w.entireweb.com) 

 60 

  1.63% 

 18 

 14 

 aipbot/1.0 (aipbot; http:/ / www.aipbot.com; [email protected]) 

 53 

  1.44% 

 27 

 15 

 Ask Jeeves Spider 

 52 

  1.41% 

 25 

 16 

 Google image crawler 

 45 

  1.22% 

 11 

 17 

 itLocation-PADBot (http:/ / www.itlocation.com) 

 30 

  0.81% 

 30 

 18 

 Gigabot Spider 

 30 

  0.81% 

 26 

 19 

 Feedster Crawler/1.0; Feedster, Inc. 

 30 

  0.81% 

 2 

 20 

 Mozilla/5.0 (compatible; BecomeBot/ 1.83; MSIE 6.0 compatible; +http:/ / www.become.com/ site_owners.html) 

 21 

  0.57% 

 2 

 21 

 NutchCVS/0.06-dev (Nutch; http:/ / www.nutch.org/ docs/ en/ bot.html; [email protected] et) 

 18 

  0.49% 

 11 

 22 

 Unitix PAD Spider (for more info see http :/ / unitix.com) 

 16 

  0.43% 

 8 

 23 

 Alexa Spider 

 16 

  0.43% 

 9 

 24 

 Voila.FR Spider 

 16 

  0.43% 

 8 

 25 

 AtlocalBot/1.1 +(http:/ / www.atlocal.com/ local-web-site-owner.html) 

 15 

  0.41% 

 1 

 26 

 Mozilla/5.0 (compatible; BecomeBot/ 2.2.5; MSIE 6.0 compatible; +http:/ / www.become.com/ site_owners.html) 

 9 

  0.24% 

 5 

 27 

 hl_ftien_spider 

 8 

  0.22% 

 4 

 28 

 http://www.almaden.ibm.com/ cs/ crawler [fc3] 

 8 

  0.22% 

 4 

 29 

 Mozilla/4.0 (compatible; MSIE 5.0; Window s NT; Girafabot; girafabot at girafa dot com; http:/ / www.girafa.com) 

 8 

  0.22% 

 2 

 30 

 SoftdllSpider/1.0 (+http:/ / www.freesoftdownloads.com/ spider.html) 

 8 

  0.22% 

 8 

 31 

 BaiDu Spider 

 8 

  0.22% 

 7 

 32 

 SoftHuntersbot/1.1 (+http:/ / www.softhunters.com) 

 6 

  0.16% 

 6 

 33 

 search.ch V1.4.2 ([email protected]; ht tp:/ / www.search.ch) 

 6 

  0.16% 

 4 

 34 

 Mozdex/0.06-dev (Mozdex; http:/ / www.mozdex.com/ bot.html; [email protected]) 

 5 

  0.14% 

 3 

 35 

 SurveyBot/2.3 (Whois Source) 

 5 

  0.14% 

 5 

 36 

 ObjectsSearch/0.06 (ObjectsSearch; http:/ / www.ObjectsSearch.com/ bot.html; [email protected])  

 4 

  0.11% 

 2 

 37 

 abot/0.1 (abot; http:/ / www.abot.com; [email protected]) 

 4 

  0.11% 

 2 

 38 

 Helmdall ([email protected]) 

 4 

  0.11% 

 4 

 39 

 Softizerbot (http://www.softizer.com) 

 3 

  0.08% 

 3 

 40 

 SeznamBot/1.0 (+http:/ / fulltext.seznam.cz/ ) 

 3 

  0.08% 

 2 

 41 

 Media Find crawler 

 3 

  0.08% 

 2 

 42 

 http://www.almaden.ibm.com/ cs/ crawler [bc36] 

 3 

  0.08% 

 2 

 43 

 EasyDL/3.04 http://keywen.com/ Encyclopedia/ Bot 

 2 

  0.05% 

 1 

 44 

 MojeekBot/0.2 (archi; http:/ / www.mojeek.com/ bot.html) 

 2 

  0.05% 

 2 

 45 

 MJ12bot/v1.0.0 (http:/ / majestic12.co.uk/ bot.php? +) 

 2 

  0.05% 

 1 

 46 

 Clushbot/3.41-BinaryFury (+http:/ / www.clush.com/ bot.html) 

 2 

  0.05% 

 2 

 47 

 snap.com beta crawler v0 

 2 

  0.05% 

 2 

 48 

 EmeraldShield.com WebBot (http:/ / www.emeraldshield.com/ webbot.aspx) 

 2 

  0.05% 

 1 

 49 

 Clushbot/3.42-BinaryFury (+http:/ / www.clush.com/ bot.html) 

 2 

  0.05% 

 2 

 50 

 NutchCVS/0.06-dev (Nutch; http:/ / www.s14g.com/ en/ search.html; [email protected]) 

 2 

  0.05% 

 1 

  

 Subtotal 

 3,680 

 99.81% 

 2,305 

  

 Total 

 3,687 

 100.00% 

 2,310 



Top Spider IP

  

 IP 

 Country 

 Hits 

 Visits 

 Bandwidth 

 1 

 63.238.163.75
 cavtel.net (Internetseer Web site monitoring Spider) 

 United States 

 722 

 722 

 0 Bytes 

 2 

 69.93.56.82
 ipxf.net (Unknown Spider) 

 United States 

 260 

 26 

 0 Bytes 

 3 

 67.19.157.42
 theplanet.com (Unknown Spider) 

 United States 

 240 

 40 

 9.53 KB 

 4 

 128.194.135.83
 tamu.edu (Unknown Spider) 

 United States 

 212 

 50 

 64.24 KB 

 5 

 24.187.132.177
 optonline.net (MSIECrawler) 

 United States 

 170 

 37 

 32.04 KB 

 6 

 64.242.88.50
 looksmart.com (Wisenut Spider) 

 United States 

 124 

 117 

 808.32 KB 

 7 

 68.142.251.209
 inktomisearch.com (Yahoo Spider) 

 United States 

 96 

 96 

 0 Bytes 

 8 

 65.54.188.131
 msn.com (MSN Spider) 

 United States 

 82 

 29 

 430.11 KB 

 9 

 216.55.133.27
 abac.net (Wespe.de Spider) 

 United States 

 62 

 60 

 569.14 KB 

 10 

 64.62.175.137
 he.net (Unknown Spider) 

 United States 

 61 

 2 

 557.25 KB 

 11 

 62.13.25.237
 sverige.net (Unknown Spider) 

 Sweden 

 60 

 18 

 7.46 KB 

 12 

 62.2.173.19
 cablecom.ch (Unknown Spider) 

 Switzerland 

 60 

 30 

 275.39 KB 

 13 

 217.16.26.114
 masterhost.ru (Wespe.de Spider) 

 Russian Federation 

 60 

 60 

 550.78 KB 

 14 

 207.68.146.55
 msn.net (MSN Spider) 

 United States 

 58 

 31 

 213.05 KB 

 15 

 24.177.134.6
 charter.com (Unknown Spider) 

 United States 

 57 

 29 

 603.51 KB 

 16 

 62.13.25.221
 sverige.net (Speedy Spider) 

 Sweden 

 53 

 18 

 6.22 KB 

 17 

 68.142.250.207
 inktomisearch.com (Yahoo Spider) 

 United States 

 52 

 49 

 0 Bytes 

 18 

 68.142.251.21
 inktomisearch.com (Yahoo Spider) 

 United States 

 48 

 45 

 0 Bytes 

 19 

 24.189.194.163
 optonline.net (MSIECrawler) 

 United States 

 43 

 7 

 64.08 KB 

 20 

 66.249.65.162
 google.com (Google image crawler) 

 United States 

 41 

 11 

 538.52 KB 

 21 

 68.142.251.24
 inktomisearch.com (Yahoo Spider) 

 United States 

 33 

 30 

 0 Bytes 

 22 

 66.151.189.11
 colospace.com (Unknown Spider) 

 United States 

 30 

 2 

 9.50 KB 

 23 

 66.249.65.100
 google.com (Google Spider) 

 United States 

 23 

 6 

 965.51 KB 

 24 

 68.142.251.62
 inktomisearch.com (Yahoo Spider) 

 United States 

 21 

 19 

 0 Bytes 

 25 

 68.142.250.156
 inktomisearch.com (Yahoo Spider) 

 United States 

 19 

 19 

 7.09 KB 

 26 

 65.54.188.132
 msn.com (MSN Spider) 

 United States 

 17 

 3 

 109.30 KB 

 27 

 68.142.250.143
 inktomisearch.com (Yahoo Spider) 

 United States 

 17 

 15 

 0 Bytes 

 28 

 64.124.85.204
 become.com (Unknown Spider) 

 United States 

 16 

 1 

 133.32 KB 

 29 

 62.79.25.35
 vbr.tiscali.dk (Unknown Spider) 

 Denmark 

 16 

 8 

 71.74 KB 

 30 

 207.68.146.62
 msn.net (MSN Spider) 

 United States 

 15 

 8 

 66.81 KB 

 31 

 62.13.25.219
 sverige.net (Speedy Spider) 

 Sweden 

 15 

 5 

 1.82 KB 

 32 

 216.55.159.187
 abac.net (Unknown Spider) 

 United States 

 15 

 1 

 123.79 KB 

 33 

 68.142.250.208
 inktomisearch.com (Yahoo Spider) 

 United States 

 12 

 12 

 0 Bytes 

 34 

 193.252.148.209
 x-echo.com (Voila.FR Spider) 

 France 

 12 

 6 

 16.87 KB 

 35 

 64.242.88.10
 looksmart.com (Wisenut Spider) 

 United States 

 12 

 11 

 75.73 KB 

 36 

 64.62.168.31
 he.net (Gigabot Spider) 

 United States 

 11 

 10 

 0 Bytes 

 37 

 68.142.249.117
 inktomisearch.com (Yahoo Spider) 

 United States 

 11 

 11 

 33.38 KB 

 38 

 68.142.251.172
 inktomisearch.com (Yahoo Spider) 

 United States 

 11 

 11 

 3.00 MB 

 39 

 68.142.251.148
 inktomisearch.com (Yahoo Spider) 

 United States 

 11 

 11 

 382 Bytes 

 40 

 66.147.154.3 (Unknown Spider) 

 United States 

 11 

 6 

 34.08 KB 

 41 

 128.194.135.76
 tamu.edu (Unknown Spider) 

 United States 

 11 

 3 

 1.44 KB 

 42 

 209.237.238.179 (Alexa Spider) 

 United States 

 10 

 5 

 41.60 KB 

 43 

 66.249.64.66
 google.com (Google Spider) 

 United States 

 9 

 6 

 1.35 MB 

 44 

 68.142.250.51
 inktomisearch.com (Yahoo Spider) 

 United States 

 9 

 5 

 2.63 KB 

 45 

 66.196.90.223
 inktomisearch.com (Yahoo Spider) 

 United States 

 9 

 9 

 0 Bytes 

 46 

 66.148.86.163
 hopone.net (Unknown Spider) 

 United States 

 8 

 8 

 75.78 KB 

 47 

 66.249.71.32
 google.com (Google Spider) 

 United States 

 8 

 5 

 2.96 MB 

 48 

 68.142.250.135
 inktomisearch.com (Yahoo Spider) 

 United States 

 8 

 4 

 2.63 KB 

 49 

 68.142.251.131
 inktomisearch.com (Yahoo Spider) 

 United States 

 8 

 4 

 2.63 KB 

 50 

 66.249.71.57
 google.com (Google Spider) 

 United States 

 7 

 5 

 630 Bytes 

  

 Subtotal 

  

 2,976 

 1,726 

 13.67 MB 

  

 Total 

  

 3,687 

 2,310 

 76.71 MB 



Top Pages (Which are never accessed by Spider)

  

 Pages 

 Pageview 

 % of Total  Pageviews 

 Visits 

 % of Total  Visits 

 Bandwidth 

 Average Visit Length 

 Average Time Taken(ms) 

 1 

 /cx_localization.htm 

 302 

  4.54% 

 273 

  1.20% 

 103.16 KB 

 0:43 

 134 

 2 

 0 

 36 

  0.54% 

 24 

  0.11% 

 11.64 KB 

 0:52 

 131 

 3 

 Index of /downloads 
 /downloads/ 

 35 

  0.53% 

 18 

  0.08% 

 10.07 KB 

 0:06 

 132 

 4 

 /cw_home.htm?AfID=14660 

 6 

  0.09% 

 6 

  0.03% 

 2.24 KB 

 0:00 

 85 

 5 

 /MSOffice/cltreq.asp? UL= 1& ACT= 4& BUILD= 2614& STRMVER= 4& CAPREQ= 0 

 2 

  0.03% 

 2 

  0.01% 

 0 Bytes 

 0:00 

 95 

 6 

 Cool Find, File Find Tool, File Search Tool for Windows - Home 
 /images/ 

 2 

  0.03% 

 1 

  0.00% 

 16.72 KB 

 1:22 

 222 

 7 

 /cgi-bin/formmail.pl 

 2 

  0.03% 

 2 

  0.01% 

 0 Bytes 

 0:00 

 154 

 8 

 /instmsg/aliases/bloomfield 

 1 

  0.02% 

 1 

  0.00% 

 0 Bytes 

 0:00 

 210 

 9 

 /downloads/ch 

 1 

  0.02% 

 1 

  0.00% 

 0 Bytes 

 0:00 

 52 

 10 

 /MSOffice/cltreq.asp? UL= 1& ACT= 4& BUILD= 5606& STRMVER= 4& CAPREQ= 0 

 1 

  0.02% 

 1 

  0.00% 

 0 Bytes 

 0:00 

 184 

 11 

 /NoThisPageXX.asp 

 1 

  0.02% 

 1 

  0.00% 

 0 Bytes 

 0:00 

 210 

 12 

 /cw_home.htm/ 

 1 

  0.02% 

 1 

  0.00% 

 0 Bytes 

 0:00 

 97 

 13 

 /MSOffice/cltreq.asp? UL= 1& ACT= 4& BUILD= 6254& STRMVER= 4& CAPREQ= 0 

 1 

  0.02% 

 1 

  0.00% 

 0 Bytes 

 0:00 

 15 

 14 

 Index of /downloads 
 /downloads 

 1 

  0.02% 

 1 

  0.00% 

 327 Bytes 

 0:01 

 29 

 15 

 /changerxp/screen_shots.htm 

 1 

  0.02% 

 1 

  0.00% 

 0 Bytes 

 0:00 

 264 

 16 

 /cw_home.htm?AfID=20542 

 1 

  0.02% 

 1 

  0.00% 

 382 Bytes 

 0:00 

 37 

  

 Subtotal 

 394 

  5.92% 

 N/A 

 N/A 

 144.52 KB 

 N/A 

 980 

  

 Total 

 6,655 

 100% 

 N/A 

 N/A 

 6,321.65 MB 

 N/A