<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=us-ascii">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:Lato;
        panose-1:2 15 5 2 2 2 4 3 2 3;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0cm;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:"Calibri",sans-serif;
        mso-fareast-language:EN-US;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:#0563C1;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:#954F72;
        text-decoration:underline;}
span.EmailStyle17
        {mso-style-type:personal-compose;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-family:"Calibri",sans-serif;
        mso-fareast-language:EN-US;}
@page WordSection1
        {size:612.0pt 792.0pt;
        margin:72.0pt 72.0pt 72.0pt 72.0pt;}
div.WordSection1
        {page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang="EN-AU" link="#0563C1" vlink="#954F72">
<div class="WordSection1">
<p class="MsoNormal">Hi Folks,<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Just wondering if anybody has any experience with xymongen hanging. I have a large number of xymongen processes being kicked off sometime over the weekend, unfortunately they are owned by apache and have a PPID of 1 so I can’t tell how
 they were started. I’m presuming either xymoncmd but I can’t see anything in the crontab for xymon or in tasks.cfg that would kick off the snapshots and reporting processes.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">These then sit for a very long time (> 24hrs) while trying to read a data file from a specific server.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Courier New"">apache   14749     1 44 Oct16 ?        10:28:39 /xymon/server/server/bin/xymongen --snapshot=2222867979 XYMONGENSNAPOPTS /xymon/server/server/www/snap/14748-1665896723<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Courier New"">apache   14867     1 43 Oct16 ?        10:26:32 /xymon/server/server/bin/xymongen --snapshot=2222867979 XYMONGENSNAPOPTS /xymon/server/server/www/snap/14866-1665896747<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Courier New"">apache   15107     1 43 Oct16 ?        10:26:05 /xymon/server/server/bin/xymongen --snapshot=2222867979 XYMONGENSNAPOPTS /xymon/server/server/www/snap/15106-1665896768<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Courier New"">apache   15118     1 43 Oct16 ?        10:25:58 /xymon/server/server/bin/xymongen --snapshot=2222867979 XYMONGENSNAPOPTS /xymon/server/server/www/snap/15117-1665896774<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Courier New"">apache   15125     1 43 Oct16 ?        10:25:12 /xymon/server/server/bin/xymongen --snapshot=2222867979 XYMONGENSNAPOPTS /xymon/server/server/www/snap/15124-1665896783<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Courier New"">apache   15238     1 43 Oct16 ?        10:23:26 /xymon/server/server/bin/xymongen --reportopts=2222871640:2222958039:1: /xymon/server/server/www/rep/15237-1665896797<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Courier New"">apache   15269     1 43 Oct16 ?        10:25:31 /xymon/server/server/bin/xymongen --snapshot=2222867979 XYMONGENSNAPOPTS /xymon/server/server/www/snap/15268-1665896804<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Courier New"">apache   15349     1 43 Oct16 ?        10:22:20 /xymon/server/server/bin/xymongen --snapshot=2222867979 XYMONGENSNAPOPTS /xymon/server/server/www/snap/15348-1665896807<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Courier New"">apache   15382     1 43 Oct16 ?        10:23:40 /xymon/server/server/bin/xymongen --reportopts=2222871640:2222958039:1: /xymon/server/server/www/rep/15381-1665896828<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Courier New"">apache   15398     1 43 Oct16 ?        10:25:13 /xymon/server/server/bin/xymongen --snapshot=2222867979 XYMONGENSNAPOPTS /xymon/server/server/www/snap/15397-1665896834<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Courier New"">apache   15400     1 43 Oct16 ?        10:22:59 /xymon/server/server/bin/xymongen --reportopts=2222871640:2222958039:1: /xymon/server/server/www/rep/15399-1665896837<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Courier New"">apache   15757     1 43 Oct16 ?        10:24:48 /xymon/server/server/bin/xymongen --reportopts=2222871640:2222958039:1: /xymon/server/server/www/rep/15756-1665896864<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Courier New"">apache   15842     1 43 Oct16 ?        10:22:32 /xymon/server/server/bin/xymongen --reportopts=2222871640:2222958039:1: /xymon/server/server/www/rep/15841-1665896873<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Courier New"">apache   15964     1 43 Oct16 ?        10:24:21 /xymon/server/server/bin/xymongen --reportopts=2222871640:2222958039:1: /xymon/server/server/www/rep/15963-1665896897<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Courier New"">apache   15996     1 43 Oct16 ?        10:22:25 /xymon/server/server/bin/xymongen --reportopts=2222871640:2222958039:1: /xymon/server/server/www/rep/15995-1665896912<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Courier New"">apache   16133     1 43 Oct16 ?        10:22:07 /xymon/server/server/bin/xymongen --reportopts=2222871640:2222958039:1: /xymon/server/server/www/rep/16132-1665896933<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Courier New"">apache   16149     1 43 Oct16 ?        10:23:37 /xymon/server/server/bin/xymongen --reportopts=2222871640:2222958039:1: /xymon/server/server/www/rep/16148-1665896954<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Courier New"">apache   16215     1 43 Oct16 ?        10:23:45 /xymon/server/server/bin/xymongen --reportopts=2222871640:2222958039:1: /xymon/server/server/www/rep/16214-1665896972<o:p></o:p></span></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">An strace for the first pid is as follows (they are all the same) and looking at file descriptor 3<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">[root@dcslmonitor 15238]# strace -f -p 14749<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">Process 14749 attached<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">read(3, "", 4096)                       = 0<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">read(3, "", 4096)                       = 0<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">read(3, "", 4096)                       = 0<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">read(3, "", 4096)                       = 0<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">read(3, "", 4096)                       = 0<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">read(3, "", 4096)                       = 0<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">read(3, "", 4096)                       = 0<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">read(3, "", 4096)                       = 0<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">read(3, "", 4096)                       = 0<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">read(3, "", 4096)                       = 0<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">read(3, "", 4096)                       = 0<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">read(3, "", 4096)                       = 0<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">read(3, "", 4096)                       = 0<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">read(3, "", 4096)                       = 0<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">read(3, "", 4096)                       = 0<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">read(3, "", 4096)                       = 0<o:p></o:p></span></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">fd3 is<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">xymongen  14749               apache  cwd       DIR              253,0         6  134320195 /xymon/server/data/acks<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">xymongen  14749               apache  rtd       DIR                8,2       269         64 /<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">xymongen  14749               apache  txt       REG              253,0   1106256  135222190 /xymon/server/server/bin/xymongen<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">xymongen  14749               apache  mem       REG                8,6    155784    4448319 /usr/lib64/libselinux.so.1<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">xymongen  14749               apache  mem       REG                8,6    109976    4873245 /usr/lib64/libresolv-2.17.so<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">xymongen  14749               apache  mem       REG                8,6     15688    4259351 /usr/lib64/libkeyutils.so.1.5<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">xymongen  14749               apache  mem       REG                8,6     67104    4471490 /usr/lib64/libkrb5support.so.0.1<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">xymongen  14749               apache  mem       REG                8,6    142144    4873243 /usr/lib64/libpthread-2.17.so<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">xymongen  14749               apache  mem       REG                8,6     90632    4195838 /usr/lib64/libz.so.1.2.7<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">xymongen  14749               apache  mem       REG                8,6     19248    4358022 /usr/lib64/libdl-2.17.so<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">xymongen  14749               apache  mem       REG                8,6    210824    4471445 /usr/lib64/libk5crypto.so.3.1<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">xymongen  14749               apache  mem       REG                8,6     15920    4939663 /usr/lib64/libcom_err.so.2.1<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">xymongen  14749               apache  mem       REG                8,6    967840    4259800 /usr/lib64/libkrb5.so.3.3<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">xymongen  14749               apache  mem       REG                8,6    320400    4256684 /usr/lib64/libgssapi_krb5.so.2.2<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">xymongen  14749               apache  mem       REG                8,6   2156272    4262067 /usr/lib64/libc-2.17.so<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">xymongen  14749               apache  mem       REG                8,6    402384    4259730 /usr/lib64/libpcre.so.1.2.0<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">xymongen  14749               apache  mem       REG                8,6   2521008    4256674 /usr/lib64/libcrypto.so.1.0.2k<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">xymongen  14749               apache  mem       REG                8,6    470360    4195836 /usr/lib64/libssl.so.1.0.2k<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">xymongen  14749               apache  mem       REG                8,6    163312    4448246 /usr/lib64/ld-2.17.so<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">xymongen  14749               apache    0r     FIFO                0,8       0t0  404824379 pipe<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">xymongen  14749               apache    1w     FIFO                0,8       0t0  404824380 pipe<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">xymongen  14749               apache    2w     FIFO                0,8       0t0  404824381 pipe<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">xymongen  14749               apache    3r      REG              253,0       524   67195718 /xymon/server/data/hist/accessntg.sslcert<o:p></o:p></span></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Every process (in the process list above) shows they have the same file open as fd3, are they locking each other out or more to the point, should they be?<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Any ideas on where to look or what to do next? <o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Thanks<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal" style="text-autospace:none"><b><span style="font-size:9.0pt;font-family:"Lato",sans-serif;color:black;mso-fareast-language:EN-AU">David Logan<o:p></o:p></span></b></p>
<p class="MsoNormal" style="text-autospace:none"><b><span style="font-size:9.0pt;font-family:"Lato",sans-serif;color:black;mso-fareast-language:EN-AU">Senior Systems Administrator</span></b><span style="font-size:9.0pt;font-family:"Lato",sans-serif;color:black;mso-fareast-language:EN-AU"><o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><b><span style="font-size:9.0pt;font-family:"Lato",sans-serif;color:gray;mso-fareast-language:EN-AU">Data Centre Services</span></b><span style="font-size:9.0pt;font-family:"Lato",sans-serif;color:gray;mso-fareast-language:EN-AU"><o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Arial",sans-serif;color:#767171;mso-fareast-language:EN-AU">Department of
<b>Corporate and Digital Development</b></span><span style="font-size:10.0pt;font-family:"Arial",sans-serif;color:#538135;mso-fareast-language:EN-AU">
</span><b><span style="font-size:10.0pt;font-family:"Arial",sans-serif;color:#002060;mso-fareast-language:EN-AU">|
</span></b><span style="font-size:10.0pt;font-family:"Arial",sans-serif;color:gray;mso-fareast-language:EN-AU">Northern Territory Government</span><span style="font-size:9.0pt;font-family:"Lato",sans-serif;color:gray;mso-fareast-language:EN-AU"><br>
GPO Box 2391, Darwin, NT 0801, Australia                                                  
<o:p></o:p></span></p>
<p class="MsoNormal" style="margin-left:180.0pt;text-indent:36.0pt"><b><u><span style="font-size:9.0pt;font-family:"Lato",sans-serif;mso-fareast-language:EN-AU">DCS Midrange Ticketing System<o:p></o:p></span></u></b></p>
<p class="MsoNormal"><b><span style="font-size:9.0pt;font-family:"Lato",sans-serif;color:#E36C0A;mso-fareast-language:EN-AU">p   ... <+61> 8 8999 6968 <o:p></o:p></span></b></p>
<p class="MsoNormal"><b><span style="font-size:9.0pt;font-family:"Lato",sans-serif;color:#E36C0A;mso-fareast-language:EN-AU">m …  <+61> 458 631 117           
</span></b><span style="font-size:9.0pt;font-family:"Lato",sans-serif;color:black;mso-fareast-language:EN-AU">New and Existing tickets:
</span><span style="font-size:9.0pt;font-family:"Lato",sans-serif;mso-fareast-language:EN-AU"><a href="http://dcscentral.nt.gov.au/"><span style="color:#0563C1">http://dcscentral.nt.gov.au/</span></a></span><span style="mso-fareast-language:EN-AU">
</span><span style="font-size:9.0pt;color:black;mso-fareast-language:EN-AU"><o:p></o:p></span></p>
<p class="MsoNormal"><b><span style="font-size:9.0pt;font-family:"Lato",sans-serif;color:#999999;mso-fareast-language:EN-AU">e  ...
</span></b><b><span style="font-size:9.0pt;font-family:"Lato",sans-serif;color:#1F497D;mso-fareast-language:EN-AU"><a href="mailto:david.logan@nt.gov.au"><span style="color:blue">david.logan@nt.gov.au</span></a>                                                </span></b><span style="font-size:9.0pt;font-family:"Lato",sans-serif;mso-fareast-language:EN-AU">or
<a href="mailto:dcs_service@nt.gov.au"><span style="color:blue">dcs_service@nt.gov.au</span></a></span><span style="font-size:10.0pt;font-family:"Arial",sans-serif;color:black;mso-fareast-language:EN-AU"><o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><b><span style="font-size:9.0pt;font-family:"Lato",sans-serif;color:#1F497D;mso-fareast-language:EN-AU">w …
<a href="http://www.nt.gov.au/"><span style="color:blue">www.nt.gov.au</span></a>                                                             </span></b><b><span style="font-size:9.0pt;font-family:"Lato",sans-serif;color:#E36C0A;mso-fareast-language:EN-AU">Escalations:
 (08) 8999 7654</span></b><b><span style="font-size:9.0pt;font-family:"Lato",sans-serif;color:blue"><o:p></o:p></span></b></p>
<p class="MsoNormal" style="text-autospace:none"><b><u><span style="font-size:10.0pt;font-family:"Lato",sans-serif;color:blue;mso-fareast-language:EN-AU"><o:p><span style="text-decoration:none"> </span></o:p></span></u></b></p>
<p class="MsoNormal"><b><span style="font-size:10.0pt;color:gray;mso-fareast-language:EN-AU">Our vision:</span></b><span style="font-size:10.0pt;color:gray;mso-fareast-language:EN-AU">
<b>improve government through services and solutions that exceed expectations</b></span><b><span style="font-size:10.0pt;color:gray;mso-fareast-language:EN-AU"><o:p></o:p></span></b></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:#595959;mso-fareast-language:EN-AU">Our values:
</span><b><span style="font-size:10.0pt;color:#C50BB8;mso-fareast-language:EN-AU">Honest  </span></b><b><span style="font-size:10.0pt;color:#365F91;mso-fareast-language:EN-AU">| </span></b><b><span style="font-size:10.0pt;color:#167418;mso-fareast-language:EN-AU">Professional</span></b><b><span style="font-size:9.0pt;color:#167418;mso-fareast-language:EN-AU"> </span></b><b><span style="font-size:9.0pt;color:#365F91;mso-fareast-language:EN-AU">
</span></b><b><span style="font-size:10.0pt;color:#365F91;mso-fareast-language:EN-AU">| Respectful  | </span></b><b><span style="font-size:10.0pt;color:#002060;mso-fareast-language:EN-AU">Accountable</span></b><b><span style="font-size:9.0pt;color:#002060;mso-fareast-language:EN-AU">
</span></b><b><span style="font-size:9.0pt;color:#365F91;mso-fareast-language:EN-AU">  </span></b><b><span style="font-size:10.0pt;color:#365F91;mso-fareast-language:EN-AU">| </span></b><b><span style="font-size:10.0pt;color:#7030A0;mso-fareast-language:EN-AU">Innovative
<o:p></o:p></span></b></p>
<p class="MsoNormal"><span style="font-size:8.0pt;color:gray;mso-fareast-language:EN-AU">The information in this e-mail is intended solely for the addressee named. It may contain legally privileged or confidential information that is subject to copyright. If
 you are not the intended recipient you must not use, disclose copy or distribute this communication. If you have received this message in error, please delete the e-mail and notify the sender. No representation is made that this e-mail is free of viruses.
 Virus scanning is recommended and is the responsibility of the recipient. <o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:7.0pt;color:green;mso-fareast-language:EN-AU">Please consider the environment before printing this email.<o:p></o:p></span></p>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
</body>
</html>