https://community.intel.com/t5/Software-Archive/Problems-creating-more-than-one-Offload-stream-stream/m-p/1083663#M62586 <P>Ravi,</P> <P>Part of the design of the offload system is to fall back onto the host processor should the (designated) MIC unavailable. Does the offload stream follow this capability? In particular, will streams code developed on KNC just work on KNL?</P> <P>Jim Dempsey</P> Mon, 06 Jun 2016 16:31:31 GMT jimdempseyatthecove 2016-06-06T16:31:31Z https://community.intel.com/t5/Software-Archive/Problems-creating-more-than-one-Offload-stream-stream/m-p/1083660#M62583 <P><BR /> Dear MIC Developers,</P> <P>I am using Offload Streams explained in the page below and interface described in the include file <STRONG>offload.h</STRONG>.</P> <P><A href="https://software.intel.com/en-us/node/583657" target="_blank">https://software.intel.com/en-us/node/583657</A><BR /> /opt/mkl/compilers_and_libraries_2016.2.181/linux/compiler/include/offload.h</P> <P>I am not able to create more than one _Offload_stream as follows:<BR /> &nbsp;</P> <P>&nbsp;&nbsp;&nbsp; _Offload_stream sHandle1 = _Offload_stream_create(0, 1);&nbsp;&nbsp;&nbsp;<BR /> &nbsp;&nbsp;&nbsp; _Offload_stream sHandle2 = _Offload_stream_create(0, 1);<BR /> &nbsp;&nbsp;&nbsp; /* Some computations and data transfers */<BR /> &nbsp;&nbsp;&nbsp; _Offload_stream_destroy(0, sHandle1);<BR /> &nbsp;&nbsp;&nbsp; _Offload_stream_destroy(0, sHandle2);</P> <P>During the creation of the second stream "sHandle2", I am seeing the following error:<BR /> <STRONG>offload_error: unable to set affinity</STRONG></P> <P>Could you please tell me if I can not create more than one offload stream at a time?</P> <P>Do you suggest I use 'libxstream' for this purpose?<BR /> <A href="https://github.com/hfp/libxstream" target="_blank">https://github.com/hfp/libxstream</A></P> <P>Regards<BR /> Ravi</P> <P>My experimental machine has 2 sockets with 12 physical cores each (Intel Haswell Processors). 'micinfo' displays the following information about the host and the coprocessor.</P> <P><STRONG>$micinfo</STRONG><BR /> MicInfo Utility Log<BR /> Created Thu Jun&nbsp; 2 21:34:44 2016</P> <P><BR /> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; System Info<BR /> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; HOST OS&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : Linux<BR /> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; OS Version&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : 3.10.0-327.13.1.el7.x86_64<BR /> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Driver Version&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : 3.6.1-1<BR /> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; MPSS Version&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : 3.6.1</P> <P>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Host Physical Memory&nbsp;&nbsp;&nbsp; : 64152 MB</P> <P>Device No: 0, Device Name: mic0</P> <P>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Version<BR /> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Flash Version&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : 2.1.02.0391<BR /> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; SMC Firmware Version&nbsp;&nbsp;&nbsp;&nbsp; : 1.17.6900<BR /> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; SMC Boot Loader Version&nbsp; : 1.8.4326<BR /> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Coprocessor OS Version&nbsp;&nbsp; : 2.6.38.8+mpss3.6.1<BR /> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Device Serial Number&nbsp;&nbsp;&nbsp;&nbsp; : ADKC51700518</P> <P><BR /> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Board<BR /> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Vendor ID&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : 0x8086<BR /> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Device ID&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : 0x225d<BR /> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Subsystem ID&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : 0x3604<BR /> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Coprocessor Stepping ID&nbsp; : 2<BR /> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; PCIe Width&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : Insufficient Privileges<BR /> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; PCIe Speed&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : Insufficient Privileges<BR /> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; PCIe Max payload size&nbsp;&nbsp;&nbsp; : Insufficient Privileges<BR /> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; PCIe Max read req size&nbsp;&nbsp; : Insufficient Privileges<BR /> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Coprocessor Model&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : 0x01<BR /> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Coprocessor Model Ext&nbsp;&nbsp;&nbsp; : 0x00<BR /> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Coprocessor Type&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : 0x00<BR /> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Coprocessor Family&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : 0x0b<BR /> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Coprocessor Family Ext&nbsp;&nbsp; : 0x00<BR /> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Coprocessor Stepping&nbsp;&nbsp;&nbsp;&nbsp; : C0<BR /> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Board SKU&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : C0PRQ-3120/3140 P/A<BR /> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ECC Mode&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : Enabled<BR /> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; SMC HW Revision&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : Product 300W Passive CS</P> <P>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Cores<BR /> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Total No of Active Cores : 57<BR /> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Voltage&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : 0 uV<BR /> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Frequency&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : 1100000 kHz</P> <P>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Thermal<BR /> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Fan Speed Control&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : N/A<BR /> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Fan RPM&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : N/A<BR /> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Fan PWM&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : N/A<BR /> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Die Temp&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : 41 C</P> <P>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; GDDR<BR /> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; GDDR Vendor&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : Elpida<BR /> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; GDDR Version&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : 0x1<BR /> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; GDDR Density&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : 2048 Mb<BR /> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; GDDR Size&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : 5952 MB<BR /> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; GDDR Technology&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : GDDR5<BR /> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; GDDR Speed&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : 5.000000 GT/s<BR /> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; GDDR Frequency&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : 2500000 kHz<BR /> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; GDDR Voltage&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : 1501000 uV</P> <P>&nbsp;</P> <P>&nbsp;</P> <P>&nbsp;</P> Thu, 02 Jun 2016 20:03:01 GMT https://community.intel.com/t5/Software-Archive/Problems-creating-more-than-one-Offload-stream-stream/m-p/1083660#M62583 manumachu__ravi 2016-06-02T20:03:01Z https://community.intel.com/t5/Software-Archive/Problems-creating-more-than-one-Offload-stream-stream/m-p/1083661#M62584 <P>At present when using streams it is necessary to set KMP_AFFINITY and OFFLOAD_STREAM_AFFINITY.</P> <P>For example:</P> <P>export MIC_ENV_PREFIX=MIC<BR /> export MIC_KMP_AFFINITY="norespect,none"<BR /> export OFFLOAD_STREAM_AFFINITY=compact<BR /> &nbsp;</P> Thu, 02 Jun 2016 20:21:28 GMT https://community.intel.com/t5/Software-Archive/Problems-creating-more-than-one-Offload-stream-stream/m-p/1083661#M62584 Rajiv_D_Intel 2016-06-02T20:21:28Z https://community.intel.com/t5/Software-Archive/Problems-creating-more-than-one-Offload-stream-stream/m-p/1083662#M62585 <P>&nbsp;</P> <P>Thank you, Rajiv.</P> <P>Could I please ask you if there is a manual for this functionality (Offload streams)? The article "<A href="https://software.intel.com/en-us/node/583657">https://software.intel.com/en-us/node/583657</A>" seems to be the only source.</P> <P>Best Regards<BR /> Ravi</P> Fri, 03 Jun 2016 06:41:10 GMT https://community.intel.com/t5/Software-Archive/Problems-creating-more-than-one-Offload-stream-stream/m-p/1083662#M62585 manumachu__ravi 2016-06-03T06:41:10Z https://community.intel.com/t5/Software-Archive/Problems-creating-more-than-one-Offload-stream-stream/m-p/1083663#M62586 <P>Ravi,</P> <P>Part of the design of the offload system is to fall back onto the host processor should the (designated) MIC unavailable. Does the offload stream follow this capability? In particular, will streams code developed on KNC just work on KNL?</P> <P>Jim Dempsey</P> Mon, 06 Jun 2016 16:31:31 GMT https://community.intel.com/t5/Software-Archive/Problems-creating-more-than-one-Offload-stream-stream/m-p/1083663#M62586 jimdempseyatthecove 2016-06-06T16:31:31Z https://community.intel.com/t5/Software-Archive/Problems-creating-more-than-one-Offload-stream-stream/m-p/1083664#M62587 <P>If stream creation using _Offload_stream_create is successful then offloads to that stream will succeed.</P> <P>Streams code that works on KNC should work just the same on KNL.</P> Mon, 06 Jun 2016 17:54:51 GMT https://community.intel.com/t5/Software-Archive/Problems-creating-more-than-one-Offload-stream-stream/m-p/1083664#M62587 Rajiv_D_Intel 2016-06-06T17:54:51Z