<div dir="auto">How is the log file being created and written to? When and how is it rotated? The logfetch output indicates that that file shrunk in size twice; is that possible?<div dir="auto"><br></div><div dir="auto">J</div></div><div class="gmail_extra"><br><div class="gmail_quote">On 22 Jun. 2017 05:20, "Max Xu" <<a href="mailto:Max.Xu@servicenow.com">Max.Xu@servicenow.com</a>> wrote:<br type="attribution"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">



<div style="word-wrap:break-word;color:rgb(0,0,0);font-size:18px;font-family:Calibri,sans-serif">
<div>Hi,</div>
<div><br>
</div>
<div>Logfetch is sending old data causing false alerts.</div>
<div><br>
</div>
<div>The log file looks somewhat like this:</div>
<div>
<div>Error    2017-06-14 11:36:58.613343 39915 2184308576 Compare server: ……</div>
<div>Error    2017-06-14 11:36:58.613481 39913 1581872992 Command server: ……</div>
</div>
<div>……  (note. The above repeat about 780K times)</div>
<div>Info     2017-06-14 13:07:41.113163 1193 1036199776 Compare server exited normally, pid = 45494  [sp_desvr]</div>
<div>…..</div>
<div>Error    2017-06-15 02:42:22.820068 1761 2399766368 Command server:…..</div>
<div>……</div>
<div><br>
</div>
<div><br>
</div>
<div>At 6/19 and 6/20, msgs alert generated with all the old data of 6/14 and 6/15 etc. below is sniper of alert on 6/19</div>
<div>
<table align="CENTER" border="0" summary="Detail Status" style="color:rgb(216,216,191);font-family:Times;background-color:rgb(0,0,0)">
<tbody>
<tr>
<td align="LEFT">
<h3>Mon Jun 19 17:48:57 PDT 2017 - Log files NOT ok</h3>
<pre><img src="https://monitor01.lhr9.service-now.com/xymon/gifs/red.gif" alt="red" height="16" width="16" border="0"> Critical entries in <a href="https://monitor01.lhr9.service-now.com/xymon-cgi/svcstatus.sh?CLIENT=ora164106.sjc4.service-now.com&SECTION=msgs:/u01/shareplex/var/log/event_log" style="color:rgb(255,255,68)" target="_blank">/u01/shareplex/var/log/event_<wbr>log</a>
<img src="https://monitor01.lhr9.service-now.com/xymon/gifs/red.gif" alt="red" height="16" width="16" border="0"> Error    2017-06-14 12:07:24.545252 9795 1581102944 Command server: ReconcileLog: failed to construct object-cache: Illegal state: Item 372354 already in the object id registry  (connecting from <a href="http://ora164106.sjc4.service-now.com" target="_blank">ora164106.sjc4.service-now.com</a><wbr>) [module osp]
<img src="https://monitor01.lhr9.service-now.com/xymon/gifs/red.gif" alt="red" height="16" width="16" border="0"> Error    2017-06-14 12:07:24.545499 9795 1581102944 Command server: ReconcileLog: failed to construct object-cache: Illegal state: Item 372356 already in the object id registry  (connecting from <a href="http://ora164106.sjc4.service-now.com" target="_blank">ora164106.sjc4.service-now.com</a><wbr>) [module osp]</pre>
<pre><br></pre>
</td>
</tr>
</tbody>
</table>
</div>
<div><br>
</div>
<div>Meantime, see xymonclient.log:</div>
<div>
<div>2017-06-19 17:49:01.428381 logfetch: File /u01/shareplex/var/log/event_<wbr>log shrank from >=173538314 to 48414720 bytes in size. Probably rotated; clearing position state</div>
<div>2017-06-19 17:49:01.428462 logfetch: /u01/shareplex/var/log/event_<wbr>log delta 48414720 bytes exceeds max buffer size 10485760; skipping some data</div>
<div>2017-06-19 17:51:05.086815 logfetch: /u01/shareplex/var/log/event_<wbr>log delta 173538314 bytes exceeds max buffer size 10485760; skipping some data</div>
<div>2017-06-19 17:53:09.<a href="tel:13%2044%2069" value="+61134469" target="_blank">134469</a> logfetch: /u01/shareplex/var/log/event_<wbr>log delta 173538314 bytes exceeds max buffer size 10485760; skipping some data</div>
<div>2017-06-19 17:55:12.647682 logfetch: /u01/shareplex/var/log/event_<wbr>log delta 173538314 bytes exceeds max buffer size 10485760; skipping some data</div>
<div>2017-06-19 17:57:16.163913 logfetch: /u01/shareplex/var/log/event_<wbr>log delta 173538314 bytes exceeds max buffer size 10485760; skipping some data</div>
<div>2017-06-19 17:59:19.662801 logfetch: /u01/shareplex/var/log/event_<wbr>log delta 173538314 bytes exceeds max buffer size 10485760; skipping some data</div>
<div>2017-06-19 18:01:23.180499 logfetch: /u01/shareplex/var/log/event_<wbr>log delta 173538453 bytes exceeds max buffer size 10485760; skipping some data</div>
<div>2017-06-19 18:03:26.777636 logfetch: /u01/shareplex/var/log/event_<wbr>log delta 125123733 bytes exceeds max buffer size 10485760; skipping some data</div>
<div>2017-06-20 06:42:01.519481 logfetch: File /u01/shareplex/var/log/event_<wbr>log shrank from >=173541482 to 74420224 bytes in size. Probably rotated; clearing position state</div>
<div>2017-06-20 06:42:01.519557 logfetch: /u01/shareplex/var/log/event_<wbr>log delta 74420224 bytes exceeds max buffer size 10485760; skipping some data</div>
<div>2017-06-20 06:44:05.173606 logfetch: /u01/shareplex/var/log/event_<wbr>log delta 173541633 bytes exceeds max buffer size 10485760; skipping some data</div>
<div>2017-06-20 06:46:08.670466 logfetch: /u01/shareplex/var/log/event_<wbr>log delta 173541633 bytes exceeds max buffer size 10485760; skipping some data</div>
<div>2017-06-20 06:48:12.188216 logfetch: /u01/shareplex/var/log/event_<wbr>log delta 173541633 bytes exceeds max buffer size 10485760; skipping some data</div>
<div>2017-06-20 06:50:15.683455 logfetch: /u01/shareplex/var/log/event_<wbr>log delta 173541633 bytes exceeds max buffer size 10485760; skipping some data</div>
<div>2017-06-20 06:52:19.250727 logfetch: /u01/shareplex/var/log/event_<wbr>log delta 173541633 bytes exceeds max buffer size 10485760; skipping some data</div>
<div>2017-06-20 06:54:22.752463 logfetch: /u01/shareplex/var/log/event_<wbr>log delta 173541633 bytes exceeds max buffer size 10485760; skipping some data</div>
<div>2017-06-20 06:56:23.426678 logfetch: /u01/shareplex/var/log/event_<wbr>log delta 99121409 bytes exceeds max buffer size 10485760; skipping some data</div>
</div>
<div><br>
</div>
<div>Noted. </div>
<ol>
<li>The above 2m interval is my setup of xymon client. </li><li>It seems the logfetch status file is not successfully saved and source code shows no error check (so no direct evidence).</li><li>The behavior only last under 20 min. The server itself did not have disk and cpu alerts and no one report any issues related to disk and io.</li></ol>
<div><br>
</div>
<div>I was told that this behavior is not new although rarely happen. Is there any solution or work round?</div>
<div><br>
</div>
<div>My running version is: </div>
<div>Xymon version 4.3.25-1.el6.terabithia</div>
<div><br>
</div>
<div><br>
</div>
<div>Thanks,</div>
<div>-max</div>
<div><br>
</div>
<div>
<div id="m_4084695072152890044MAC_OUTLOOK_SIGNATURE"></div>
</div>
</div>

<br>______________________________<wbr>_________________<br>
Xymon mailing list<br>
<a href="mailto:Xymon@xymon.com">Xymon@xymon.com</a><br>
<a href="http://lists.xymon.com/mailman/listinfo/xymon" rel="noreferrer" target="_blank">http://lists.xymon.com/<wbr>mailman/listinfo/xymon</a><br>
<br></blockquote></div></div>