<div dir="ltr"><div>Only back at that client again on Wednesday.<br></div>But I do have remote access, so will see what I can do this evening.<br><br></div><div class="gmail_extra"><br><div class="gmail_quote">On 25 February 2015 at 18:06, Jeremy Laidman <span dir="ltr"><<a href="mailto:jlaidman@rebel-it.com.au" target="_blank">jlaidman@rebel-it.com.au</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><span class=""><div class="gmail_quote">On 25 February 2015 at 19:16, Vernon Everett <span dir="ltr"><<a href="mailto:everett.vernon@gmail.com" target="_blank">everett.vernon@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">These hosts all have nothing at all to do with the storage arrays being monitored, which makes me think the client data might be a red herring.</blockquote></div><br></span>Yup, makes sense.</div><div class="gmail_extra"><br></div><div class="gmail_extra">My best guess is memory corruption within xymond.  So let's see if the corruption is visible in the messages being passed between xymond and xymond_channel.  If we see corrupt messages in there, we can start to delve into the source code to see if there's a bug somewhere.  Are you able to run your own instance of xymond_channel?  Maybe something like this:</div><div class="gmail_extra"><br></div><div class="gmail_extra">sudo -u xymon xymoncmd xymond_channel --channel=data --filter=zmem cat</div><div class="gmail_extra"><br></div><div class="gmail_extra">One you get an idea what it looks like, change "cat" for something like "egrep -A5 ^@" to get only the first 5 lines.  Also, redirect to a file until you notice a dodgy RRD file and then kill the process.</div><div class="gmail_extra"><br></div><div class="gmail_extra">Did you try running xymond with "--dbghost=HOSTNAME" ?  It might be too voluminous, but might be worth a try, if you can manage to snag the traffic at the right time.</div><span class="HOEnZb"><font color="#888888"><div class="gmail_extra"><br></div><div class="gmail_extra">J</div><div class="gmail_extra"><br></div></font></span></div>
</blockquote></div><br><br clear="all"><br>-- <br><div class="gmail_signature"><span>"Accept the challenges so that you can feel the exhilaration of victory"</span><div><span>- General George Patton</span></div></div>
</div>