<div dir="ltr">Thank you Jeremy for your suggestion!<div><br></div><div>I have run this command on the client, but I don't know what conclusions can I draw from it. Here is the outptu, (after being dropped to xymoncmd):</div><div><br></div><div>==================================================================</div><div><div># time /usr/libexec/xymon-client/xymon 10.12.12.44 "client/timetest zm1.i2cinc.com.Linux"</div><div>ignore <a href="http://mail.info">mail.info</a></div><div>file:/etc/passwd:md5</div><div>file:/etc/shadow:md5</div><div>log:/var/adm/messages:10240</div><div>0.00user 0.00system 0:00.00elapsed 33%CPU (0avgtext+0avgdata 680maxresident)k</div><div>0inputs+0outputs (0major+200minor)pagefaults 0swaps</div></div><div>==================================================================<br></div><div><br></div><div>BTW I do see clock offsets as big as 45 seconds reported on the "CPU" page for this client.</div><div><br></div><div>Thanks.</div><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Jun 29, 2016 at 4:46 AM, Jeremy Laidman <span dir="ltr"><<a href="mailto:jlaidman@rebel-it.com.au" target="_blank">jlaidman@rebel-it.com.au</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="HOEnZb"><div class="h5"><div class="gmail_quote"><div dir="ltr">On Tue, 28 Jun 2016, 23:27 Junaid Shahid <<a href="mailto:shahid.junaid@gmail.com" target="_blank">shahid.junaid@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Thanks JC!<div><br></div><div>Now that makes it very clear how CPU stats contain server's timestamp (and why).</div><div><br></div><div>I have checked we are running version 4.3.21.<br></div><div><br></div><div>Now lets look at the reasons of skew:</div></div><div dir="ltr"><div><span style="font-size:12.8px">a) your xymon server itself is wrong</span><br style="font-size:12.8px"></div></div><div dir="ltr"><div><span style="font-size:12.8px">Our server's time is correct (as I have manually checked it multiple times manually and also with "ntpstats"). Plus, we have some 300+ clients under Xymon monitoring, and none of them exhibit any time skew in their CLOCK Offset trends</span></div></div><div dir="ltr"><div><span style="font-size:12.8px"><br></span></div><div><span style="font-size:12.8px">b) you have a xymonproxy in the middle and messages are delayed getting to </span><span style="font-size:12.8px">xymond</span><span style="font-size:12.8px"><br></span></div></div><div dir="ltr"><div><span style="font-size:12.8px">We don't use any xymon proxy</span></div></div><div dir="ltr"><div><span style="font-size:12.8px"><br></span></div><div><span style="font-size:12.8px">c) your xymond_client process is backlogged with [client] messages</span><br style="font-size:12.8px"></div></div><div dir="ltr"><div><span style="font-size:12.8px">This also can't be the reason because all other clients don't exhibit any noticeable skew in their respective Clock Offset trends</span></div></div><div dir="ltr"><div><span style="font-size:12.8px"><br></span></div><div><span style="font-size:12.8px">d) your xymon server is overloaded and has a long period between </span><span style="font-size:12.8px">transmission and TCP processing by xymond</span><span style="font-size:12.8px"><br></span></div></div><div dir="ltr"><div><span style="font-size:12.8px">This also must not be the case as no other client show any noticeable Clock Offset trend.</span></div><div><span style="font-size:12.8px"><br></span></div><div><span style="font-size:12.8px"><br></span></div><div><span style="font-size:12.8px">In our case there is one specific server (out of 300+) that has a clock offset trend that alternates b/w 2-15 secs (like a sinusoidal wave). This machine's time is in perfect sync with our NTP server though (no clock drift exists actually). This machine has a little complicated network topology though (behind various layers such as firewalls, load balancers etc). My only guess now is that this is because of its weird network location, what do you think JC?</span></div></div></blockquote></div><div><br></div></div></div><div>I tend to agree. If it takes a few seconds to make a TCP connection to the xymon server and transmit the client message, you will see such a delay.</div><div><br></div><div>Try manually sending a client message and see how long it takes. Something like:</div><div><br></div><div>$ time $XYMON $XYMSRV "client/timetest $MACHINE.$SERVEROSTYPE"</div><div><br></div><div>(run within a xymoncmd shell on the client)</div><span class="HOEnZb"><font color="#888888"><div><br></div><div>J</div><div><br></div><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
</blockquote></div>
</font></span></blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature" data-smartmail="gmail_signature">Regards,<br>Junaid Shahid,<br>TODO:______</div>
</div></div>