https://community.intel.com/t5/Intel-oneAPI-Math-Kernel-Library/Re-use-cluster-pardiso-factorization-crashed/m-p/1113884#M24538 <P>Letian, are you takling about 11.3.3 version of MKL? How we may reproduce this case? can you give the example?</P> Sun, 28 Aug 2016 05:22:29 GMT Gennady_F_Intel 2016-08-28T05:22:29Z https://community.intel.com/t5/Intel-oneAPI-Math-Kernel-Library/Re-use-cluster-pardiso-factorization-crashed/m-p/1113883#M24537 <P>I'm trying to use cluster pardiso to solve large equations with complex hermitian matrix. I have multiple (&gt;1000) right hand side but matrix A is the same, so I do phase 11 and 22 factorization first, then want reuse the factorization to solve the equation with multiple right hand side. I know pardiso has the capability to solve all the right hand side by one call, but it had memory issues due to the very large size of my matrix. So I tried do phase 11 &amp; 22 first, then read each right hand side from binary file and solve phase 33 in a do loop. For the first 20 or so right hand side, the code runs good and it seems calculate the correct solution, but then the program crashes. I believe there might be some memory leaks.</P> <P>Any suggestions/ideas are welcome, here is the error message, I run the code on 4 nodes. line 171 is where I call pardiso in phase 33. Thanks.</P> <P>forrtl: error (78): process killed (SIGTERM)<BR /> Image&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; PC&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Routine&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Line&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Source&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<BR /> z2d.exe&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0000000005A33DC5&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> z2d.exe&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0000000005A319E7&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> z2d.exe&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00000000059EDD14&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> z2d.exe&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00000000059EDB26&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> z2d.exe&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00000000059B0B36&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> z2d.exe&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00000000059B411E&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> libpthread.so.0&nbsp;&nbsp;&nbsp; 00000036B220F710&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> z2d.exe&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00000000059B4040&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> libpthread.so.0&nbsp;&nbsp;&nbsp; 00000036B220F710&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> libmpi.so.12&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00002B23E8A8BEE0&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> forrtl: error (78): process killed (SIGTERM)<BR /> Image&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; PC&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Routine&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Line&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Source&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<BR /> z2d.exe&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0000000005A33DC5&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> z2d.exe&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0000000005A319E7&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> z2d.exe&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00000000059EDD14&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> z2d.exe&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00000000059EDB26&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> z2d.exe&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00000000059B0B36&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> z2d.exe&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00000000059B411E&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> libpthread.so.0&nbsp;&nbsp;&nbsp; 0000003A8BC0F710&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> libmpi.so.12&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00002B21F3490FB2&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> libmpi.so.12&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00002B21F32D6FBC&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> libmpi.so.12&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00002B21F33E2E39&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> libmpi.so.12&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00002B21F33E347A&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> libmpi.so.12&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00002B21F32C2788&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> libmpi.so.12&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00002B21F32C100A&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> libmpi.so.12&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00002B21F32C02CF&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> libmpi.so.12&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00002B21F32C3A2B&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> libmpi.so.12&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00002B21F32C343E&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> z2d.exe&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00000000015DCDE2&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> z2d.exe&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00000000005D3CEB&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> z2d.exe&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0000000000557699&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> z2d.exe&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0000000000553999&nbsp; MAIN__&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 171&nbsp; z2d_1by1.f90<BR /> z2d.exe&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0000000000552C1E&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> libc.so.6&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0000003A8B81ED1D&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> z2d.exe&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0000000000552B29&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> forrtl: error (78): process killed (SIGTERM)<BR /> Image&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; PC&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Routine&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Line&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Source&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<BR /> z2d.exe&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0000000005A33DC5&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> z2d.exe&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0000000005A319E7&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> z2d.exe&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00000000059EDD14&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> z2d.exe&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00000000059EDB26&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> z2d.exe&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00000000059B0B36&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> z2d.exe&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00000000059B411E&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> libpthread.so.0&nbsp;&nbsp;&nbsp; 0000003B9840F710&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> libmpi.so.12&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00002B5AFB7954A0&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> libmpi.so.12&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00002B5AFB8C5FD0&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> libmpi.so.12&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00002B5AFB70BFBC&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> libmpi.so.12&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00002B5AFB817E39&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> libmpi.so.12&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00002B5AFB81847A&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> libmpi.so.12&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00002B5AFB6F7788&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> libmpi.so.12&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00002B5AFB6F600A&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> libmpi.so.12&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00002B5AFB6F52CF&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> libmpi.so.12&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00002B5AFB6F8A2B&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> libmpi.so.12&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00002B5AFB6F843E&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> z2d.exe&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00000000015DCDE2&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> z2d.exe&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00000000005D3CEB&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> z2d.exe&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0000000000557699&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> z2d.exe&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0000000000553999&nbsp; MAIN__&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 171&nbsp; z2d_1by1.f90<BR /> z2d.exe&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0000000000552C1E&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> libc.so.6&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0000003B9801ED1D&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> z2d.exe&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0000000000552B29&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> forrtl: error (78): process killed (SIGTERM)<BR /> Image&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; PC&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Routine&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Line&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Source&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<BR /> z2d.exe&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0000000005A33DC5&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> z2d.exe&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0000000005A319E7&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> z2d.exe&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00000000059EDD14&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> z2d.exe&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00000000059EDB26&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> z2d.exe&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00000000059B0B36&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> z2d.exe&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00000000059B411E&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> libpthread.so.0&nbsp;&nbsp;&nbsp; 000000382FC0F710&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> z2d.exe&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00000000059B4040&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> libpthread.so.0&nbsp;&nbsp;&nbsp; 000000382FC0F710&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> libmpi.so.12&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00002AAD1016F800&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> libmpi.so.12&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00002AAD0FFB114B&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> libmpi.so.12&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00002AAD100BCE39&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> libmpi.so.12&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00002AAD100BCB32&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> libmpi.so.12&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00002AAD0FF962F9&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> libmpi.so.12&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00002AAD0FF95D5D&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> libmpi.so.12&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00002AAD0FF95BDC&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> libmpi.so.12&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00002AAD0FF95B0C&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> libmpi.so.12&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00002AAD0FF97932&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> z2d.exe&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00000000015DCCB9&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> z2d.exe&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00000000005C59D5&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> z2d.exe&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0000000000557A80&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> z2d.exe&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0000000000553999&nbsp; MAIN__&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 171&nbsp; z2d_1by1.f90<BR /> z2d.exe&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0000000000552C1E&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> libc.so.6&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 000000382F81ED1D&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown<BR /> z2d.exe&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0000000000552B29&nbsp; Unknown&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Unknown&nbsp; Unknown</P> Fri, 26 Aug 2016 20:03:00 GMT https://community.intel.com/t5/Intel-oneAPI-Math-Kernel-Library/Re-use-cluster-pardiso-factorization-crashed/m-p/1113883#M24537 Letian_W_ 2016-08-26T20:03:00Z https://community.intel.com/t5/Intel-oneAPI-Math-Kernel-Library/Re-use-cluster-pardiso-factorization-crashed/m-p/1113884#M24538 <P>Letian, are you takling about 11.3.3 version of MKL? How we may reproduce this case? can you give the example?</P> Sun, 28 Aug 2016 05:22:29 GMT https://community.intel.com/t5/Intel-oneAPI-Math-Kernel-Library/Re-use-cluster-pardiso-factorization-crashed/m-p/1113884#M24538 Gennady_F_Intel 2016-08-28T05:22:29Z https://community.intel.com/t5/Intel-oneAPI-Math-Kernel-Library/Re-use-cluster-pardiso-factorization-crashed/m-p/1113885#M24539 <P>Gennady,</P> <P>Please find the attached example, Here is what I tried:</P> <OL> <LI> <P>Using one right hand side, got the solution correctly</P> </LI> <LI> <P>Put NX63 matrixes into B, and solve the equations with 63 right hand sides, also got the solutions correctly</P> </LI> <LI> <P>Put NX1000 matrix into B, system run out of memory during back substitution, program crashed</P> </LI> <LI> <P>So I tried alternative was, put the substitution 1 by 1 and put it in a do loop, then the program crashed after several solutions. Attached is the test code I could duplicate the problem in GE Global research linux cluster:</P> <OL> <LI> <P>Z2d_1by1_demo.f90 – source code, generate a large sparse matrix (3.5M X 3.5M), do phase=11, then phase=22, then 2000 phase=33 in a do loop</P> </LI> <LI> <P>Z2d.out – output file, stopped at solution 245 right hand side</P> </LI> <LI> <P>Use_script.stderr&nbsp; - error message</P> </LI> <LI> <P>Rank?????.error – write out the return ERROR from cluster_pardiso after each iteration, all the returned &nbsp;ERROR was 0, but the code crashed at iteration 245</P> </LI> <LI> <P>I ran this code with 4 MPI, 20openmps each MPI</P> </LI> </OL> </LI> </OL> <P>&nbsp;</P> <P>Please test at intel side, and see if you can repeat the same error. If my code has problem, please let me know.</P> <P>&nbsp;</P> <P>By the way, when I read the output during substitution phase:</P> <P>Times:</P> <P>======</P> <P>Time spent in direct solver at solve step (solve)&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : 1.819070 s</P> <P>Time spent in additional calculations&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : 16.224561 s</P> <P>Total time spent&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : 18.043631 s</P> <P>&nbsp;</P> <P>It seems the additional calculations spent much more time than solver itself, that makes the back substitution not efficient. What is the additional calculation?</P> <P>&nbsp;</P> <P>Thanks.</P> <P>&nbsp;</P> <P>Letian</P> <P>&nbsp;</P> Mon, 29 Aug 2016 19:49:56 GMT https://community.intel.com/t5/Intel-oneAPI-Math-Kernel-Library/Re-use-cluster-pardiso-factorization-crashed/m-p/1113885#M24539 Letian_W_ 2016-08-29T19:49:56Z