<div dir="ltr">This might help too.<br><br># pflags ./core_smcconsole_xymond_rrd_61_61_1426033626_20899<br>core './core_smcconsole_xymond_rrd_61_61_1426033626_20899' of 20899:    xymond_rrd --debug --rrddir=/opt/local/xymon/data/rrd --no-cache<br>        data model = _ILP32  flags = MSACCT|MSFORK<br>        sigpend = 0x00020000,0x00000000<br> /1:    flags = 0<br>        sigmask = 0xffffbefc,0x0000ffff  cursig = SIGABRT<br><br><br></div><div class="gmail_extra"><br><div class="gmail_quote">On 11 March 2015 at 09:13, Vernon Everett <span dir="ltr"><<a href="mailto:everett.vernon@gmail.com" target="_blank">everett.vernon@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">If it helps, here's the same core, with pstack.<br><br># pstack ./core_smcconsole_xymond_rrd_61_61_1426033626_20899<br>core './core_smcconsole_xymond_rrd_61_61_1426033626_20899' of 20899:    xymond_rrd --debug --rrddir=/opt/local/xymon/data/rrd --no-cache<br> feebebc4 _lwp_kill (6, 0, 0, 3a9a0, ffffffff, 6) + 8<br> fee329b0 abort    (0, 1, feebafec, ffb3c, fef35518, 0) + 110<br> 0003a9a0 sigsegv_handler (b, 0, ffbfa160, 0, fe8a2a00, ffbfa160) + 30<br> feebafec __sighndlr (b, 0, ffbfa160, 3a970, 0, 1) + c<br> feeaf69c call_user_handler (b, 0, 0, 0, fe8a2a00, ffbfa160) + 3b8<br> feeaf884 sigacthandler (b, 0, ffbfa160, ffbfb290, 0, fee91924) + 60<br> --- called from signal handler with signal 11 (SIGSEGV) ---<br> fee22d10 strlen   (514cf, ffbfb3ec, ffbfa9d1, 0, 0, 0) + 50<br> fee91924 vfprintf (6c3d0, 514c0, ffbfb3e8, 0, a0ba4, 33e1c) + ec<br> 0002fb4c dbgprintf (514c0, 0, 51400, 6c3f0, bf, 2ab388) + a4<br> 00033e1c dump_tcp_services (a0, 1c00, fef37940, 0, 51400, 51400) + 74<br> 000347f0 init_tcp_services (6a400, 51400, 51400, 6c3f0, bf, 23) + 91c<br> 00030188 rrd_setup (93314, ffbfcfc4, 63c00, ffbfcf50, 6a400, 6a400) + 15c<br> 00030518 find_xymon_rrd (93314, 511e8, 54ff8bda, 0, 932f3, 2e) + 4<br> 00016614 main     (93314, ffbfcfc4, 63c00, ffbfcf50, 54ff8bda, 93374) + 948<br> 00015a40 _start   (0, 0, 0, 0, 0, 0) + 5c<br><br></div><div class="HOEnZb"><div class="h5"><div class="gmail_extra"><br><div class="gmail_quote">On 11 March 2015 at 08:37, Vernon Everett <span dir="ltr"><<a href="mailto:everett.vernon@gmail.com" target="_blank">everett.vernon@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><div><div><div><div><div>Hi all<br><br></div>And even with --no-cache, I am still getting these corrupted rrd files.<br></div>I tried again with --debug (and --no-cache) and it core dumps.<br><br></div>Here's the backtrace.<br># adb /zones/smcconsole/root/opt/local/xymon/server/bin/xymond_rrd ./core_smcconsole_xymond_rrd_61_61_1426033626_20899<br>core file = ./core_smcconsole_xymond_rrd_61_61_1426033626_20899 -- program ``<br>/zones/smcconsole/root/opt/local/xymon/server/bin/xymond_rrd'' on platform SUNW,SPARC-Enterprise-T2000<br>SIGABRT: Abort<br>$c<br>libc.so.1`_lwp_kill+8(6, 0, 0, 3a9a0, ffffffff, 6)<br>libc.so.1`abort+0x110(0, 1, feebafec, ffb3c, fef35518, 0)<br>sigsegv_handler+0x30(b, 0, ffbfa160, 0, fe8a2a00, ffbfa160)<br>libc.so.1`__sighndlr+0xc(b, 0, ffbfa160, 3a970, 0, 1)<br>libc.so.1`call_user_handler+0x3b8(b, 0, 0, 0, fe8a2a00, ffbfa160)<br>libc.so.1`sigacthandler+0x60(b, 0, ffbfa160, ffbfb290, 0, fee91924)<br>libc.so.1`strlen+0x50(514cf, ffbfb3ec, ffbfa9d1, 0, 0, 0)<br>libc.so.1`vfprintf+0xec(6c3d0, 514c0, ffbfb3e8, 0, a0ba4, 33e1c)<br>dbgprintf+0xa4(514c0, 0, 51400, 6c3f0, bf, 2ab388)<br>dump_tcp_services+0x74(a0, 1c00, fef37940, 0, 51400, 51400)<br>init_tcp_services+0x91c(6a400, 51400, 51400, 6c3f0, bf, 23)<br>rrd_setup+0x15c(93314, ffbfcfc4, 63c00, ffbfcf50, 6a400, 6a400)<br>find_xymon_rrd+4(93314, 511e8, 54ff8bda, 0, 932f3, 2e)<br>main+0x948(93314, ffbfcfc4, 63c00, ffbfcf50, 54ff8bda, 93374)<br>_start+0x5c(0, 0, 0, 0, 0, 0)<br><br></div>Anything else I can offer that will assist?<br><br></div>Regards<span><font color="#888888"><br></font></span></div><span><font color="#888888">Vernon<br><br></font></span></div><div class="gmail_extra"><div><div><br><div class="gmail_quote">On 5 March 2015 at 09:11, J.C. Cleaver <span dir="ltr"><<a href="mailto:cleaver@terabithia.org" target="_blank">cleaver@terabithia.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span>On Wed, March 4, 2015 2:52 pm, Jeremy Laidman wrote:<br>
> On 04/03/2015 6:02 PM, "Vernon Everett" <<a href="mailto:everett.vernon@gmail.com" target="_blank">everett.vernon@gmail.com</a>> wrote:<br>
><br>
>> Looks like we might need to check with JC for more on that GOCLIENT<br>
>> thing.<br>
>> I just find it odd that it happened about the same time as the<br>
>> corruption.<br>
>> I haven't seen it again today, and haven't seen any other corruption<br>
> either.<br>
><br>
> If there's a correlation it might help us work out where the fault is. But<br>
> it might be only a symptom.<br>
><br>
>> As for the --debug option, it caused xymond_rrd to crash and burn,<br>
> dumping cores as we go.<br>
><br>
> Could be that thensame bug causing the crash during debug is also causing<br>
> the corrupt filename. Have you analyzed the core dumps?<br>
><br>
<br>
<br>
</span>GOCLIENT is indeed the means by which xymond_channel listeners communicate<br>
with xymond for the picking up of messages over SysV IPC. I believe the<br>
messages there are just a side effect of it re-launching the channel<br>
listener pipe to xymond_rrd.<br>
<br>
<br>
The cache routines in xymond_rrd should be stable at this point. Can you<br>
send a backtrace in from one of the cores? I'm curious where things could<br>
be acting up here.<br>
<br>
<br>
Regards,<br>
<br>
-jc<br>
<br>
</blockquote></div><br><br clear="all"><br></div></div><span>-- <br><div><span>"Accept the challenges so that you can feel the exhilaration of victory"</span><div><span>- General George Patton</span></div></div>
</span></div>
</blockquote></div><br><br clear="all"><br>-- <br><div><span>"Accept the challenges so that you can feel the exhilaration of victory"</span><div><span>- General George Patton</span></div></div>
</div>
</div></div></blockquote></div><br><br clear="all"><br>-- <br><div class="gmail_signature"><span>"Accept the challenges so that you can feel the exhilaration of victory"</span><div><span>- General George Patton</span></div></div>
</div>