Report for General Profile: Spiders

Time range: Sun, Apr-10-2005 0:04:09 AM - Sat, Apr-16-2005 23:59:47 PM

Spiders

Daily Spider Activity




Top Spiders




Top Spiders

  

 Spider 

 Hits 

 % of Total 

 Visits 

 1 

 Internetseer Web site monitoring Spider 

 163 

 21.56% 

 163 

 2 

 Yahoo Spider 

 146 

 19.31% 

 140 

 3 

 OmniExplorer_Bot/1.18 (+http:/ / www.omni-explorer.com) Torrent Crawler 

 61 

  8.07% 

 2 

 4 

 SoftHypermarketFileCheckBot/ 1.0+(+http:/ / www.softhypermaket.com) 

 60 

  7.94% 

 6 

 5 

 IRLbot/1.0 (+http://irl.cs.tamu.edu/ crawler) 

 51 

  6.75% 

 12 

 6 

 Agent-SharewarePlazaFileCheckBot/ 2.0+(+http:/ / www.SharewarePlaza.com) 

 48 

  6.35% 

 8 

 7 

 Wisenut Spider 

 39 

  5.16% 

 36 

 8 

 Google Spider 

 33 

  4.37% 

 20 

 9 

 Wespe.de Spider 

 30 

  3.97% 

 29 

 10 

 aipbot/1.0 (aipbot; http:/ / www.aipbot.com; [email protected]) 

 26 

  3.44% 

 14 

 11 

 MSN Spider 

 21 

  2.78% 

 12 

 12 

 Speedy Spider 

 15 

  1.98% 

 5 

 13 

 Ask Jeeves Spider 

 9 

  1.19% 

 4 

 14 

 MSIECrawler 

 8 

  1.06% 

 6 

 15 

 NutchCVS/0.06-dev (Nutch; http:/ / www.nutch.org/ docs/ en/ bot.html; [email protected] et) 

 5 

  0.66% 

 3 

 16 

 Gigabot Spider 

 5 

  0.66% 

 4 

 17 

 Unitix PAD Spider (for more info see http :/ / unitix.com) 

 4 

  0.53% 

 2 

 18 

 SoftdllSpider/1.0 (+http:/ / www.freesoftdownloads.com/ spider.html) 

 4 

  0.53% 

 4 

 19 

 itLocation-PADBot (http:/ / www.itlocation.com) 

 4 

  0.53% 

 4 

 20 

 hl_ftien_spider 

 4 

  0.53% 

 2 

 21 

 http://www.almaden.ibm.com/ cs/ crawler [fc3] 

 4 

  0.53% 

 2 

 22 

 Voila.FR Spider 

 2 

  0.26% 

 1 

 23 

 EasyDL/3.04 http://keywen.com/ Encyclopedia/ Bot 

 2 

  0.26% 

 1 

 24 

 MojeekBot/0.2 (archi; http:/ / www.mojeek.com/ bot.html) 

 2 

  0.26% 

 2 

 25 

 MJ12bot/v1.0.0 (http:/ / majestic12.co.uk/ bot.php? +) 

 2 

  0.26% 

 1 

 26 

 $BotName/$BotVersion [en] (UNIX; U) 

 1 

  0.13% 

 1 

 27 

 SeznamBot/1.0 (+http:/ / fulltext.seznam.cz/ ) 

 1 

  0.13% 

 1 

 28 

 McBot/5.001 (windows; U; NT4.0; en-us) 

 1 

  0.13% 

 1 

 29 

 Helmdall ([email protected]) 

 1 

  0.13% 

 1 

 30 

 BaiDu Spider 

 1 

  0.13% 

 1 

 31 

 SurveyBot/2.3 (Whois Source) 

 1 

  0.13% 

 1 

 32 

 Kitenga-crawler-bot-alpha/ 0.9 (+http:/ / www.kitenga.com/ about.html) 

 1 

  0.13% 

 1 

 33 

 SoftHuntersbot/1.1 (+http:/ / www.softhunters.com) 

 1 

  0.13% 

 1 

  

 Subtotal 

 756 

 100.00% 

 491 

  

 Total 

 756 

 100.00% 

 491 



Top Spider IP

  

 IP 

 Country 

 Hits 

 Visits 

 Bandwidth 

 1 

 63.238.163.75
 cavtel.net (Internetseer Web site monitoring Spider) 

 United States 

 163 

 163 

 0 Bytes 

 2 

 64.62.175.137
 he.net (Unknown Spider) 

 United States 

 61 

 2 

 557.25 KB 

 3 

 69.93.56.82
 ipxf.net (Unknown Spider) 

 United States 

 60 

 6 

 0 Bytes 

 4 

 128.194.135.83
 tamu.edu (Unknown Spider) 

 United States 

 51 

 12 

 31.49 KB 

 5 

 67.19.157.42
 theplanet.com (Unknown Spider) 

 United States 

 48 

 8 

 0 Bytes 

 6 

 64.242.88.50
 looksmart.com (Wisenut Spider) 

 United States 

 34 

 32 

 239.92 KB 

 7 

 24.177.134.6
 charter.com (Unknown Spider) 

 United States 

 26 

 14 

 267.29 KB 

 8 

 68.142.251.62
 inktomisearch.com (Yahoo Spider) 

 United States 

 20 

 18 

 0 Bytes 

 9 

 68.142.251.209
 inktomisearch.com (Yahoo Spider) 

 United States 

 20 

 20 

 0 Bytes 

 10 

 207.68.146.55
 msn.net (MSN Spider) 

 United States 

 17 

 10 

 86.63 KB 

 11 

 216.55.133.27
 abac.net (Wespe.de Spider) 

 United States 

 14 

 14 

 128.52 KB 

 12 

 217.16.26.114
 masterhost.ru (Wespe.de Spider) 

 Russian Federation 

 14 

 14 

 128.52 KB 

 13 

 68.142.251.21
 inktomisearch.com (Yahoo Spider) 

 United States 

 12 

 12 

 0 Bytes 

 14 

 62.13.25.221
 sverige.net (Speedy Spider) 

 Sweden 

 9 

 3 

 1.09 KB 

 15 

 62.2.173.19
 cablecom.ch (Unknown Spider) 

 Switzerland 

 8 

 4 

 36.72 KB 

 16 

 68.142.250.207
 inktomisearch.com (Yahoo Spider) 

 United States 

 7 

 6 

 0 Bytes 

 17 

 62.13.25.219
 sverige.net (Speedy Spider) 

 Sweden 

 6 

 2 

 739 Bytes 

 18 

 64.242.88.10
 looksmart.com (Wisenut Spider) 

 United States 

 5 

 4 

 31.23 KB 

 19 

 66.249.64.30
 google.com (Google Spider) 

 United States 

 5 

 3 

 2.64 MB 

 20 

 66.148.86.163
 hopone.net (Unknown Spider) 

 United States 

 4 

 4 

 39.06 KB 

 21 

 62.79.25.35
 vbr.tiscali.dk (Unknown Spider) 

 Denmark 

 4 

 2 

 17.94 KB 

 22 

 68.142.251.148
 inktomisearch.com (Yahoo Spider) 

 United States 

 4 

 4 

 0 Bytes 

 23 

 66.147.154.3 (Unknown Spider) 

 United States 

 4 

 2 

 11.47 KB 

 24 

 24.187.132.177
 optonline.net (MSIECrawler) 

 United States 

 4 

 2 

 0 Bytes 

 25 

 68.142.249.117
 inktomisearch.com (Yahoo Spider) 

 United States 

 3 

 3 

 11.13 KB 

 26 

 68.142.250.51
 inktomisearch.com (Yahoo Spider) 

 United States 

 3 

 2 

 672 Bytes 

 27 

 65.214.44.212
 ask.com (Ask Jeeves Spider) 

 United States 

 3 

 1 

 11.47 KB 

 28 

 66.196.101.89
 inktomisearch.com (Yahoo Spider) 

 United States 

 3 

 3 

 0 Bytes 

 29 

 68.142.251.24
 inktomisearch.com (Yahoo Spider) 

 United States 

 3 

 3 

 0 Bytes 

 30 

 69.199.177.187 (Unknown Spider) 

 Unknown 

 3 

 2 

 739 Bytes 

 31 

 66.196.101.90
 inktomisearch.com (Yahoo Spider) 

 United States 

 3 

 3 

 11.13 KB 

 32 

 66.249.64.77
 google.com (Google Spider) 

 United States 

 2 

 1 

 0 Bytes 

 33 

 61.181.217.208
 asd.tj.cn (Unknown Spider) 

 China 

 2 

 1 

 0 Bytes 

 34 

 65.214.44.193
 ask.com (Ask Jeeves Spider) 

 United States 

 2 

 1 

 11.13 KB 

 35 

 66.249.64.58
 google.com (Google Spider) 

 United States 

 2 

 1 

 11.13 KB 

 36 

 66.249.71.42
 google.com (Google Spider) 

 United States 

 2 

 1 

 0 Bytes 

 37 

 65.214.44.116
 ask.com (Ask Jeeves Spider) 

 United States 

 2 

 1 

 382 Bytes 

 38 

 83.67.53.154
 bureauinsure.co.uk (Unknown Spider) 

 United Kingdom 

 2 

 2 

 382 Bytes 

 39 

 66.249.71.1
 google.com (Google Spider) 

 United States 

 2 

 1 

 0 Bytes 

 40 

 66.249.64.50
 google.com (Google Spider) 

 United States 

 2 

 1 

 0 Bytes 

 41 

 66.249.71.69
 google.com (Google Spider) 

 United States 

 2 

 1 

 315 Bytes 

 42 

 66.249.71.3
 google.com (Google Spider) 

 United States 

 2 

 1 

 0 Bytes 

 43 

 218.68.238.209
 asd.tj.cn (Unknown Spider) 

 China 

 2 

 1 

 0 Bytes 

 44 

 69.41.173.105
 800hosting.com (Unknown Spider) 

 United States 

 2 

 1 

 357 Bytes 

 45 

 66.249.71.73
 google.com (Google Spider) 

 United States 

 2 

 1 

 0 Bytes 

 46 

 68.142.251.172
 inktomisearch.com (Yahoo Spider) 

 United States 

 2 

 2 

 512.00 KB 

 47 

 207.46.98.149
 msn.com (MSN Spider) 

 United States 

 2 

 1 

 315 Bytes 

 48 

 66.249.64.7
 google.com (Google Spider) 

 United States 

 2 

 1 

 0 Bytes 

 49 

 64.62.168.21
 he.net (Gigabot Spider) 

 United States 

 2 

 1 

 672 Bytes 

 50 

 24.57.2.49
 cgocable.net (Unknown Spider) 

 Canada 

 2 

 1 

 684 Bytes 

  

 Subtotal 

  

 659 

 399 

 4.74 MB 

  

 Total 

  

 756 

 491 

 18.27 MB 



Top Pages (Which are never accessed by Spider)

  

 Pages 

 Pageview 

 % of Total  Pageviews 

 Visits 

 % of Total  Visits 

 Bandwidth 

 Average Visit Length 

 Average Time Taken(ms) 

 1 

 /cx_localization.htm 

 74 

  4.94% 

 68 

  1.32% 

 25.61 KB 

 0:10 

 142 

 2 

 Index of /downloads 
 /downloads/ 

 7 

  0.47% 

 6 

  0.12% 

 2.02 KB 

 0:08 

 169 

 3 

 /selviscoldlg.htm 

 4 

  0.27% 

 4 

  0.08% 

 0 Bytes 

 0:01 

 211 

 4 

 0 

 2 

  0.13% 

 1 

  0.02% 

 662 Bytes 

 0:00 

 180 

 5 

 /cw_home.htm?AfID=17064 

 2 

  0.13% 

 1 

  0.02% 

 382 Bytes 

 1:34 

 231 

 6 

 /MSOffice/cltreq.asp? UL= 1& ACT= 4& BUILD= 2614& STRMVER= 4& CAPREQ= 0 

 1 

  0.07% 

 1 

  0.02% 

 0 Bytes 

 0:00 

 61 

 7 

 /downloads/ch 

 1 

  0.07% 

 1 

  0.02% 

 0 Bytes 

 0:00 

 52 

 8 

 /cw_home.htm?AfID=14660 

 1 

  0.07% 

 1 

  0.02% 

 382 Bytes 

 0:00 

 32 

 9 

 Index of /downloads 
 /downloads 

 1 

  0.07% 

 1 

  0.02% 

 327 Bytes 

 0:01 

 29 

 10 

 /cw_home.htm/ 

 1 

  0.07% 

 1 

  0.02% 

 0 Bytes 

 0:00 

 97 

 11 

 /cw_home.htm?AfID=20542 

 1 

  0.07% 

 1 

  0.02% 

 382 Bytes 

 0:00 

 37 

  

 Subtotal 

 95 

  6.34% 

 N/A 

 N/A 

 29.71 KB 

 N/A 

 982 

  

 Total 

 1,499 

 100% 

 N/A 

 N/A 

 1,381.18 MB 

 N/A