Report for General Profile: Spiders

Time range: Sun, Apr-17-2005 0:01:20 AM - Sat, Apr-23-2005 23:59:00 PM

Spiders

Daily Spider Activity




Top Spiders




Top Spiders

  

 Spider 

 Hits 

 % of Total 

 Visits 

 1 

 Yahoo Spider 

 175 

 20.21% 

 169 

 2 

 Internetseer Web site monitoring Spider 

 163 

 18.82% 

 163 

 3 

 MSN Spider 

 74 

  8.55% 

 33 

 4 

 IRLbot/1.0 (+http://irl.cs.tamu.edu/ crawler) 

 65 

  7.51% 

 15 

 5 

 SoftHypermarketFileCheckBot/ 1.0+(+http:/ / www.softhypermaket.com) 

 60 

  6.93% 

 6 

 6 

 Agent-SharewarePlazaFileCheckBot/ 2.0+(+http:/ / www.SharewarePlaza.com) 

 54 

  6.24% 

 8 

 7 

 Google Spider 

 47 

  5.43% 

 23 

 8 

 Speedy Spider 

 44 

  5.08% 

 15 

 9 

 Wespe.de Spider 

 32 

  3.70% 

 31 

 10 

 Wisenut Spider 

 28 

  3.23% 

 27 

 11 

 Google image crawler 

 27 

  3.12% 

 9 

 12 

 MSIECrawler 

 21 

  2.42% 

 4 

 13 

 itLocation-PADBot (http:/ / www.itlocation.com) 

 9 

  1.04% 

 9 

 14 

 Alexa Spider 

 8 

  0.92% 

 5 

 15 

 Ask Jeeves Spider 

 7 

  0.81% 

 3 

 16 

 Mozilla/4.0 (compatible; MSIE 5.0; Window s NT; Girafabot; girafabot at girafa dot com; http:/ / www.girafa.com) 

 6 

  0.69% 

 1 

 17 

 search.ch V1.4.2 (spiderman@search.ch; ht tp:/ / www.search.ch) 

 6 

  0.69% 

 4 

 18 

 Gigabot Spider 

 5 

  0.58% 

 4 

 19 

 Unitix PAD Spider (for more info see http :/ / unitix.com) 

 4 

  0.46% 

 2 

 20 

 SoftdllSpider/1.0 (+http:/ / www.freesoftdownloads.com/ spider.html) 

 4 

  0.46% 

 4 

 21 

 Voila.FR Spider 

 4 

  0.46% 

 2 

 22 

 Media Find crawler 

 3 

  0.35% 

 2 

 23 

 NutchCVS/0.06-dev (Nutch; http:/ / www.nutch.org/ docs/ en/ bot.html; nutch-agent@lists.sourceforge.n et) 

 3 

  0.35% 

 2 

 24 

 ObjectsSearch/0.06 (ObjectsSearch; http:/ / www.ObjectsSearch.com/ bot.html; support@thesoftwareobjects.com)  

 2 

  0.23% 

 1 

 25 

 Clushbot/3.41-BinaryFury (+http:/ / www.clush.com/ bot.html) 

 2 

  0.23% 

 2 

 26 

 snap.com beta crawler v0 

 2 

  0.23% 

 2 

 27 

 Clushbot/3.42-BinaryFury (+http:/ / www.clush.com/ bot.html) 

 2 

  0.23% 

 2 

 28 

 aipbot/1.0 (aipbot; http:/ / www.aipbot.com; aipbot@aipbot.com) 

 2 

  0.23% 

 1 

 29 

 NutchCVS/0.06-dev (Nutch; http:/ / www.s14g.com/ en/ search.html; travelbot@s14g.com) 

 2 

  0.23% 

 1 

 30 

 Softizerbot (http://www.softizer.com) 

 1 

  0.12% 

 1 

 31 

 BaiDu Spider 

 1 

  0.12% 

 1 

 32 

 SurveyBot/2.3 (Whois Source) 

 1 

  0.12% 

 1 

 33 

 SoftHuntersbot/1.1 (+http:/ / www.softhunters.com) 

 1 

  0.12% 

 1 

 34 

 http://www.almaden.ibm.com/ cs/ crawler [bc36] 

 1 

  0.12% 

 1 

  

 Subtotal 

 866 

 100.00% 

 555 

  

 Total 

 866 

 100.00% 

 555 



Top Spider IP

  

 IP 

 Country 

 Hits 

 Visits 

 Bandwidth 

 1 

 63.238.163.75
 cavtel.net (Internetseer Web site monitoring Spider) 

 United States 

 163 

 163 

 0 Bytes 

 2 

 69.93.56.82
 ipxf.net (Unknown Spider) 

 United States 

 60 

 6 

 0 Bytes 

 3 

 67.19.157.42
 theplanet.com (Unknown Spider) 

 United States 

 57 

 11 

 9.53 KB 

 4 

 128.194.135.83
 tamu.edu (Unknown Spider) 

 United States 

 57 

 13 

 7.94 KB 

 5 

 62.13.25.221
 sverige.net (Speedy Spider) 

 Sweden 

 44 

 15 

 5.13 KB 

 6 

 66.249.65.162
 google.com (Google image crawler) 

 United States 

 37 

 10 

 390.17 KB 

 7 

 65.54.188.131
 msn.com (MSN Spider) 

 United States 

 26 

 8 

 150.43 KB 

 8 

 207.68.146.55
 msn.net (MSN Spider) 

 United States 

 25 

 13 

 72.83 KB 

 9 

 64.242.88.50
 looksmart.com (Wisenut Spider) 

 United States 

 24 

 23 

 135.68 KB 

 10 

 68.142.251.209
 inktomisearch.com (Yahoo Spider) 

 United States 

 23 

 23 

 0 Bytes 

 11 

 24.189.194.163
 optonline.net (MSIECrawler) 

 United States 

 21 

 4 

 32.04 KB 

 12 

 62.2.173.19
 cablecom.ch (Unknown Spider) 

 Switzerland 

 18 

 9 

 82.97 KB 

 13 

 68.142.250.143
 inktomisearch.com (Yahoo Spider) 

 United States 

 17 

 15 

 0 Bytes 

 14 

 68.142.251.24
 inktomisearch.com (Yahoo Spider) 

 United States 

 14 

 13 

 0 Bytes 

 15 

 217.16.26.114
 masterhost.ru (Wespe.de Spider) 

 Russian Federation 

 14 

 14 

 128.52 KB 

 16 

 216.55.133.27
 abac.net (Wespe.de Spider) 

 United States 

 14 

 14 

 128.52 KB 

 17 

 207.68.146.62
 msn.net (MSN Spider) 

 United States 

 13 

 7 

 55.68 KB 

 18 

 68.142.250.207
 inktomisearch.com (Yahoo Spider) 

 United States 

 13 

 13 

 0 Bytes 

 19 

 64.210.196.198
 girafa.com (Unknown Spider) 

 Israel 

 6 

 1 

 20.92 KB 

 20 

 68.142.250.156
 inktomisearch.com (Yahoo Spider) 

 United States 

 6 

 6 

 2.24 KB 

 21 

 195.141.85.146
 search.ch (Unknown Spider) 

 Switzerland 

 6 

 4 

 49.53 KB 

 22 

 66.196.90.223
 inktomisearch.com (Yahoo Spider) 

 United States 

 5 

 5 

 0 Bytes 

 23 

 128.194.135.76
 tamu.edu (Unknown Spider) 

 United States 

 5 

 1 

 739 Bytes 

 24 

 209.237.238.157 (Alexa Spider) 

 United States 

 4 

 2 

 22.25 KB 

 25 

 66.249.64.10
 google.com (Google Spider) 

 United States 

 4 

 2 

 0 Bytes 

 26 

 68.142.249.117
 inktomisearch.com (Yahoo Spider) 

 United States 

 4 

 4 

 22.25 KB 

 27 

 62.79.25.35
 vbr.tiscali.dk (Unknown Spider) 

 Denmark 

 4 

 2 

 17.94 KB 

 28 

 66.148.86.163
 hopone.net (Unknown Spider) 

 United States 

 4 

 4 

 36.72 KB 

 29 

 207.46.98.89
 msn.com (MSN Spider) 

 United States 

 4 

 2 

 713 Bytes 

 30 

 209.249.80.242
 infospider.com (Unknown Spider) 

 United States 

 4 

 4 

 1.44 KB 

 31 

 193.252.148.209
 x-echo.com (Voila.FR Spider) 

 France 

 4 

 2 

 8.09 KB 

 32 

 64.242.88.10
 looksmart.com (Wisenut Spider) 

 United States 

 4 

 4 

 11.13 KB 

 33 

 65.214.44.247
 ask.com (Ask Jeeves Spider) 

 United States 

 3 

 1 

 739 Bytes 

 34 

 63.241.61.8
 attens.net (Media Find crawler) 

 United States 

 3 

 2 

 6.50 KB 

 35 

 68.142.251.21
 inktomisearch.com (Yahoo Spider) 

 United States 

 3 

 3 

 0 Bytes 

 36 

 128.194.135.80
 tamu.edu (Unknown Spider) 

 United States 

 3 

 1 

 357 Bytes 

 37 

 213.229.153.170
 213-229-152-10.kaos.es (Wespe.de Spider) 

 Spain 

 3 

 2 

 739 Bytes 

 38 

 68.142.251.172
 inktomisearch.com (Yahoo Spider) 

 United States 

 3 

 3 

 1.00 MB 

 39 

 66.249.64.39
 google.com (Google Spider) 

 United States 

 3 

 2 

 7.25 KB 

 40 

 66.249.64.38
 google.com (Google Spider) 

 United States 

 3 

 2 

 1.64 MB 

 41 

 68.142.251.131
 inktomisearch.com (Yahoo Spider) 

 United States 

 2 

 1 

 672 Bytes 

 42 

 64.211.62.5
 idealab.com (Unknown Spider) 

 United States 

 2 

 2 

 0 Bytes 

 43 

 66.249.71.32
 google.com (Google Spider) 

 United States 

 2 

 1 

 357 Bytes 

 44 

 65.214.44.46
 ask.com (Ask Jeeves Spider) 

 United States 

 2 

 1 

 382 Bytes 

 45 

 66.249.71.56
 google.com (Google Spider) 

 United States 

 2 

 1 

 0 Bytes 

 46 

 209.208.197.115
 globix.net (Unknown Spider) 

 United States 

 2 

 1 

 382 Bytes 

 47 

 64.62.168.21
 he.net (Gigabot Spider) 

 United States 

 2 

 1 

 672 Bytes 

 48 

 69.150.7.165
 swbell.net (Unknown Spider) 

 United States 

 2 

 1 

 11.13 KB 

 49 

 68.142.251.102
 inktomisearch.com (Yahoo Spider) 

 United States 

 2 

 2 

 528.00 KB 

 50 

 65.54.188.130
 msn.com (MSN Spider) 

 United States 

 2 

 1 

 382 Bytes 

  

 Subtotal 

  

 748 

 445 

 4.54 MB 

  

 Total 

  

 866 

 555 

 16.74 MB 



Top Pages (Which are never accessed by Spider)

  

 Pages 

 Pageview 

 % of Total  Pageviews 

 Visits 

 % of Total  Visits 

 Bandwidth 

 Average Visit Length 

 Average Time Taken(ms) 

 1 

 /cx_localization.htm 

 84 

  5.36% 

 76 

  1.46% 

 28.57 KB 

 0:54 

 132 

 2 

 0 

 6 

  0.38% 

 3 

  0.06% 

 1.94 KB 

 2:28 

 129 

 3 

 /cw_home.htm?AfID=14660 

 2 

  0.13% 

 2 

  0.04% 

 764 Bytes 

 0:00 

 55 

 4 

 Index of /downloads 
 /downloads/ 

 2 

  0.13% 

 2 

  0.04% 

 590 Bytes 

 0:00 

 70 

 5 

 Cool Find, File Find Tool, File Search Tool for Windows - Home 
 /images/ 

 2 

  0.13% 

 1 

  0.02% 

 16.72 KB 

 1:22 

 222 

 6 

 /NoThisPageXX.asp 

 1 

  0.06% 

 1 

  0.02% 

 0 Bytes 

 0:00 

 210 

 7 

 /blog/ 

 1 

  0.06% 

 1 

  0.02% 

 4.75 KB 

 0:00 

 134 

  

 Subtotal 

 98 

  6.26% 

 N/A 

 N/A 

 53.30 KB 

 N/A 

 929 

  

 Total 

 1,566 

 100% 

 N/A 

 N/A 

 1,477.40 MB 

 N/A