Undefined symbol error when importing sklearn

[craig_s_]

I'm running Python 3.6.2 on 64-bit Linux.  I'm trying to run the sklearn module that shipped with the Intel Distribution for Python.  I ran the activate script before launching python.  When I try to import sklearn I get:

>>> import sklearn
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/opt/intel/intelpython3/lib/python3.6/site-packages/sklearn/__init__.py", line 73, in <module>
    from .daal4sklearn import dispatcher
  File "/opt/intel/intelpython3/lib/python3.6/site-packages/sklearn/daal4sklearn/dispatcher.py", line 9, in <module>
    from .k_means import fit as kmeans_fit
  File "/opt/intel/intelpython3/lib/python3.6/site-packages/sklearn/daal4sklearn/k_means.py", line 7, in <module>
    from .utils import getArrayFromNumericTable, make_csr_table, make_HomogenNumericTable
  File "/opt/intel/intelpython3/lib/python3.6/site-packages/sklearn/daal4sklearn/utils.py", line 3, in <module>
    from daal.data_management import readOnly, NumericTableIface, BlockDescriptor, packed_mask
  File "/opt/intel/intelpython3/lib/python3.6/site-packages/daal/__init__.py", line 57, in <module>
    _daal = swig_import_helper()
  File "/opt/intel/intelpython3/lib/python3.6/site-packages/daal/__init__.py", line 53, in swig_import_helper
    _mod = imp.load_module('_daal', fp, pathname, description)
  File "/opt/intel/intelpython3/lib/python3.6/imp.py", line 242, in load_module
    return load_dynamic(name, filename, file)
  File "/opt/intel/intelpython3/lib/python3.6/imp.py", line 342, in load_dynamic
    return _load(spec)
ImportError: /opt/intel/intelpython3/lib/python3.6/site-packages/daal/_daal.cpython-36m-x86_64-linux-gnu.so: undefined symbol: _ZNK4daal8services10interface16Status13getCollectionEv

[Todd_T_Intel]

Craig,

Can you please add the output of "conda list"? That will help us diagnose your problem.

Best,
Todd Tomashek

[craig_s_]

$ conda list
# packages in environment at /opt/intel/intelpython3:
#
asn1crypto                0.22.0                   py36_0    intel
astroid                   1.5.3                     <pip>
backports                 1.0                py35_intel_6  [intel]  <unknown>
backports                 1.0                py36_intel_6  [intel]  intel
bleach                    1.5.0              py36_intel_0  [intel]  intel
boost                     1.61.0             py35_intel_3  [intel]  <unknown>
boost                     1.61.0             py36_intel_3  [intel]  intel
bzip2                     1.0.6                  intel_13  [intel]  intel
caffe                     1.0.0             py35_intel_10  [intel]  <unknown>
caffe                     1.0.0             py36_intel_26  [intel]  intel
cffi                      1.9.1                    py35_0    <unknown>
cffi                      1.10.0             py36_intel_0  [intel]  intel
conda                     4.2.12             py35_intel_0  [intel]  <unknown>
conda                     4.3.16             py36_intel_1  [intel]  intel
conda                     4.3.16                   py35_0    <unknown>
conda-env                 2.6.0                         0    intel
cryptography              1.7.1                    py35_0    <unknown>
cryptography              1.8.1              py36_intel_3  [intel]  intel
cycler                    0.10.0             py36_intel_5  [intel]  intel
cycler                    0.10.0             py35_intel_5  [intel]  <unknown>
cython                    0.24              py35_intel_16  [intel]  <unknown>
cython                    0.25.2            py36_intel_18  [intel]  intel
daal                      2018.0.0.20170814               0    intel
decorator                 4.0.10             py35_intel_5  [intel]  <unknown>
decorator                 4.0.11             py36_intel_1  [intel]  intel
distarray                 0.6.0              py36_intel_4  [intel]  intel
distarray                 0.6.0              py35_intel_4  [intel]  <unknown>
entrypoints               0.2.2              py35_intel_1  [intel]  <unknown>
entrypoints               0.2.2              py36_intel_2  [intel]  intel
fontconfig                2.12.1                  intel_1  [intel]  intel
freetype                  2.5.5                   intel_9  [intel]  <unknown>
freetype                  2.8                     intel_0  [intel]  intel
get_terminal_size         1.0.0              py36_intel_5  [intel]  intel
get_terminal_size         1.0.0              py35_intel_5  [intel]  <unknown>
gflags                    2.1.2                   intel_3  [intel]  intel
glog                      0.3.4                   intel_3  [intel]  intel
glog                      0.3.4                   intel_2  [intel]  <unknown>
h5py                      2.7.0           np113py36_intel_1  [intel]  intel
h5py                      2.6.0           np111py35_intel_1  [intel]  <unknown>
hdf5                      1.8.17                  intel_9  [intel]  intel
hdf5                      1.8.17                  intel_0  [intel]  <unknown>
html5lib                  0.999              py36_intel_0  [intel]  intel
icc_rt                    16.0.3                  intel_5  [intel]  <unknown>
icc_rt                    16.0.3                 intel_14  [intel]  intel
icu                       54.1                    intel_2  [intel]  <unknown>
icu                       54.1                    intel_3  [intel]  intel
idna                      2.2                      py35_0    <unknown>
idna                      2.5                py36_intel_0  [intel]  intel
impi_rt                   2017.0.1                intel_2  [intel]  <unknown>
impi_rt                   2018.0.0                intel_3  [intel]  intel
intelpython               2018.0.0                      3    intel
intelpython               2017.0.2                      1    <unknown>
ipp                       2018.0.0               intel_14    intel
ipykernel                 4.5.0              py35_intel_4  [intel]  <unknown>
ipykernel                 4.6.1              py36_intel_0  [intel]  intel
ipyparallel               5.2.0              py35_intel_1  [intel]  <unknown>
ipyparallel               6.0.2              py36_intel_0  [intel]  intel
ipython                   6.1.0              py36_intel_0  [intel]  intel
ipython                   4.2.0              py35_intel_8  [intel]  <unknown>
ipython                   5.3.0                    py35_0    <unknown>
ipython_genutils          0.2.0              py36_intel_0  [intel]  intel
ipython_genutils          0.1.0              py35_intel_5  [intel]  <unknown>
ipywidgets                6.0.0              py36_intel_0  [intel]  intel
ipywidgets                5.2.2              py35_intel_1  [intel]  <unknown>
isort                     4.2.15                    <pip>
jinja2                    2.8                py35_intel_5  [intel]  <unknown>
jinja2                    2.9.6              py36_intel_0  [intel]  intel
jpeg                      9b                      intel_0  [intel]  intel
jpeg                      8d                      intel_3  [intel]  <unknown>
jsonschema                2.6.0              py36_intel_0  [intel]  intel
jsonschema                2.5.1              py35_intel_5  [intel]  <unknown>
jupyter                   1.0.0              py35_intel_5  [intel]  <unknown>
jupyter                   1.0.0              py36_intel_5  [intel]  intel
jupyter_client            4.4.0              py35_intel_2  [intel]  <unknown>
jupyter_client            5.1.0              py36_intel_0  [intel]  intel
jupyter_console           5.1.0              py36_intel_0  [intel]  intel
jupyter_console           5.0.0              py35_intel_5  [intel]  <unknown>
jupyter_core              4.2.0              py35_intel_5  [intel]  <unknown>
jupyter_core              4.3.0              py36_intel_1  [intel]  intel
lazy-object-proxy         1.3.1                     <pip>
leveldb                   1.18                    intel_2  [intel]  <unknown>
leveldb                   1.19                    intel_1  [intel]  intel
libffi                    3.2.1                         1    <unknown>
libffi                    3.2.1                   intel_4  [intel]  intel
libpng                    1.6.28                 intel_10  [intel]  <unknown>
libpng                    1.6.30                  intel_0  [intel]  intel
libsodium                 1.0.10                  intel_6  [intel]  intel
libtiff                   4.0.8                   intel_1  [intel]  intel
libtiff                   4.0.7                   intel_8  [intel]  <unknown>
libxml2                   2.9.4                  intel_10  [intel]  intel
llvmlite                  0.15.0             py35_intel_0  [intel]  <unknown>
llvmlite                  0.19.0             py36_intel_0  [intel]  intel
lmdb                      0.9.18                  intel_2  [intel]  <unknown>
lmdb                      0.9.18                  intel_3  [intel]  intel
markupsafe                0.23               py36_intel_6  [intel]  intel
markupsafe                0.23               py35_intel_6  [intel]  <unknown>
matplotlib                1.5.3              py35_intel_3  [intel]  <unknown>
matplotlib                2.0.2           np113py36_intel_1  [intel]  intel
mccabe                    0.6.1                     <pip>
mistune                   0.7.3              py35_intel_1  [intel]  <unknown>
mistune                   0.7.4              py36_intel_1  [intel]  intel
mkl                       2017.0.2                intel_1  [intel]  <unknown>
mkl                       2018.0.0                intel_3  [intel]  intel
mkl-dnn                   0.3dev                  intel_0  [intel]  <unknown>
mkl-dnn                   0.7                     intel_0  [intel]  intel
mlsl                      0.8                     intel_3  [intel]  intel
mock                      2.0.0              py36_intel_4  [intel]  intel
mpi4py                    2.0.0             py36_intel_15  [intel]  intel
mpi4py                    2.0.0              py35_intel_9  [intel]  <unknown>
mpmath                    0.19               py35_intel_5  [intel]  <unknown>
mpmath                    0.19               py36_intel_5  [intel]  intel
nbconvert                 4.2.0              py35_intel_5  [intel]  <unknown>
nbconvert                 5.2.1              py36_intel_0  [intel]  intel
nbformat                  4.3.0              py36_intel_0  [intel]  intel
nbformat                  4.1.0              py35_intel_1  [intel]  <unknown>
networkx                  1.11               py36_intel_0  [intel]  intel
networkx                  1.11               py35_intel_0  [intel]  <unknown>
nose                      1.3.7             py36_intel_16  [intel]  intel
nose                      1.3.7             py35_intel_12  [intel]  <unknown>
notebook                  5.0.0              py36_intel_0  [intel]  intel
notebook                  4.2.3              py35_intel_7  [intel]  <unknown>
numba                     0.30.1            py35_intel_11  [intel]  <unknown>
numba                     0.34.0             py36_intel_3  [intel]  intel
numexpr                   2.6.2           np113py36_intel_1  [intel]  intel
numexpr                   2.6.1           np111py35_intel_11  [intel]  <unknown>
numpy                     1.13.1            py36_intel_15  [intel]  intel
numpy                     1.11.2            py35_intel_51  [intel]  <unknown>
olefile                   0.44               py36_intel_0  [intel]  intel
opencv                    3.1.0           np113py36_intel_6  [intel]  intel
openmp                    2018.0.0                intel_7    intel
openssl                   1.0.2k                  intel_3  [intel]  intel
packaging                 16.8                     py36_0    intel
pandas                    0.19.2             py35_intel_1  [intel]  <unknown>
pandas                    0.20.2          np113py36_intel_1  [intel]  intel
pandocfilters             1.4.1              py36_intel_0  [intel]  intel
path.py                   10.3.1             py36_intel_0  [intel]  intel
path.py                   8.2.1              py35_intel_7  [intel]  <unknown>
patsy                     0.4.1                     <pip>
pbr                       1.10.0             py36_intel_4  [intel]  intel
pexpect                   4.2.1              py36_intel_1  [intel]  intel
pexpect                   4.0.1              py35_intel_5  [intel]  <unknown>
pickleshare               0.7.4              py35_intel_1  [intel]  <unknown>
pickleshare               0.7.4              py36_intel_1  [intel]  intel
pillow                    4.2.1              py36_intel_0  [intel]  intel
pillow                    3.4.2              py35_intel_4  [intel]  <unknown>
pip                       8.1.2              py35_intel_5  [intel]  <unknown>
pip                       9.0.1              py36_intel_0  [intel]  intel
pixman                    0.34.0                  intel_0  [intel]  intel
prompt_toolkit            1.0.14             py36_intel_0  [intel]  intel
prompt_toolkit            1.0.14                   py35_0    <unknown>
prompt_toolkit            1.0.3              py35_intel_5  [intel]  <unknown>
protobuf                  3.0.0              py35_intel_1  [intel]  <unknown>
protobuf                  3.2.0              py36_intel_0  [intel]  intel
ptyprocess                0.5.1              py35_intel_5  [intel]  <unknown>
ptyprocess                0.5.1              py36_intel_5  [intel]  intel
pyasn1                    0.2.3                    py35_0    <unknown>
pycosat                   0.6.2              py36_intel_2  [intel]  intel
pycosat                   0.6.1              py35_intel_6  [intel]  <unknown>
pycparser                 2.17                     py35_0    <unknown>
pycparser                 2.17               py36_intel_0  [intel]  intel
pydaal                    2018.0.0.20170814 np113py36_intel_0  [intel]  intel
pydaal                    2017.0.2.20170126    py35_intel_0  [intel]  <unknown>
pygments                  2.2.0              py36_intel_1  [intel]  intel
pygments                  2.1.3              py35_intel_6  [intel]  <unknown>
pylint                    1.7.2                     <pip>
pyopenssl                 17.0.0             py36_intel_0  [intel]  intel
pyopenssl                 16.2.0                   py35_0    <unknown>
pyparsing                 2.1.4              py35_intel_5  [intel]  <unknown>
pyparsing                 2.1.4              py36_intel_5  [intel]  intel
pytables                  3.2.3.1            py35_intel_8  [intel]  <unknown>
pytables                  3.3.0           np113py36_intel_15  [intel]  intel
python                    3.5.2                  intel_27  [intel]  <unknown>
python                    3.6.2                   intel_3  [intel]  intel
python-dateutil           2.6.0              py36_intel_3  [intel]  intel
python-dateutil           2.5.3              py35_intel_5  [intel]  <unknown>
python-gflags             3.1.0              py35_intel_1  [intel]  <unknown>
python-gflags             3.1.1              py36_intel_0  [intel]  intel
python-leveldb            0.193              py35_intel_0  [intel]  <unknown>
python-leveldb            0.194              py36_intel_0  [intel]  intel
pytz                      2017.2             py36_intel_3  [intel]  intel
pytz                      2016.6.1           py35_intel_5  [intel]  <unknown>
pywavelets                0.5.2           np113py36_intel_3  [intel]  intel
pyyaml                    3.12               py35_intel_1  [intel]  <unknown>
pyyaml                    3.12               py36_intel_2  [intel]  intel
pyzmq                     15.4.0             py35_intel_3  [intel]  <unknown>
pyzmq                     16.0.2             py36_intel_3  [intel]  intel
requests                  2.11.1             py35_intel_1  [intel]  <unknown>
requests                  2.13.0                   py35_0    <unknown>
requests                  2.14.2             py36_intel_0  [intel]  intel
ruamel_yaml               0.11.14            py35_intel_1  [intel]  <unknown>
ruamel_yaml               0.11.14            py36_intel_1  [intel]  intel
scikit-image              0.12.3          np111py35_intel_2  [intel]  <unknown>
scikit-image              0.13.0          np113py36_intel_1  [intel]  intel
scikit-learn              0.18.2          np113py36_intel_3  [intel]  intel
scikit-learn              0.18.1             py35_intel_4  [intel]  <unknown>
scipy                     0.18.1          np111py35_intel_10  [intel]  <unknown>
scipy                     0.19.1          np113py36_intel_11  [intel]  intel
seaborn                   0.7.1                    py35_0    <unknown>
seaborn                   0.8.1                     <pip>
setuptools                27.2.0             py36_intel_0  [intel]  intel
setuptools                23.0.0             py35_intel_4  [intel]  <unknown>
simplegeneric             0.8.1              py35_intel_5  [intel]  <unknown>
simplegeneric             0.8.1              py36_intel_5  [intel]  intel
six                       1.10.0             py36_intel_8  [intel]  intel
six                       1.10.0             py35_intel_7  [intel]  <unknown>
snappy                    1.1.3                   intel_2  [intel]  <unknown>
snappy                    1.1.4                   intel_1  [intel]  intel
sqlite                    3.13.0                 intel_15  [intel]  intel
sqlite                    3.13.0                 intel_13  [intel]  <unknown>
statsmodels               0.8.0                     <pip>
sympy                     1.0                py35_intel_5  [intel]  <unknown>
sympy                     1.0                py36_intel_5  [intel]  intel
tbb                       2018.0.0           py36_intel_2  [intel]  intel
tbb                       2017.0.4           py35_intel_0  [intel]  <unknown>
tcl                       8.6.4                  intel_17  [intel]  intel
tcl                       8.6.4                  intel_16  [intel]  <unknown>
tensorflow                1.2.1               np113py36_1    intel
terminado                 0.6                py36_intel_6  [intel]  intel
terminado                 0.6                py35_intel_6  [intel]  <unknown>
testpath                  0.3.1              py36_intel_0  [intel]  intel
theano                    1.0                py35_intel_0  [intel]  <unknown>
theano                    1.1                py36_intel_3  [intel]  intel
tk                        8.6.4                  intel_18  [intel]  <unknown>
tk                        8.6.4                  intel_26  [intel]  intel
tornado                   4.5.1              py36_intel_0  [intel]  intel
tornado                   4.4.1              py35_intel_3  [intel]  <unknown>
traitlets                 4.3.2              py36_intel_1  [intel]  intel
traitlets                 4.2.2              py35_intel_3  [intel]  <unknown>
wcwidth                   0.1.7              py35_intel_5  [intel]  <unknown>
wcwidth                   0.1.7              py36_intel_5  [intel]  intel
weakref                   1.0rc1                   py36_2    intel
werkzeug                  0.12.2                   py36_1    intel
wheel                     0.29.0             py35_intel_5  [intel]  <unknown>
wheel                     0.29.0             py36_intel_5  [intel]  intel
widgetsnbextension        1.2.6                    py35_0    <unknown>
widgetsnbextension        2.0.0                    py36_2    intel
wrapt                     1.10.11                   <pip>
xz                        5.2.2                  intel_16  [intel]  intel
xz                        5.2.2                  intel_15  [intel]  <unknown>
yaml                      0.1.6                  intel_10  [intel]  intel
zeromq                    4.1.4                   intel_5  [intel]  <unknown>
zeromq                    4.1.5                   intel_0  [intel]  intel
zlib                      1.2.11                  intel_0  [intel]  <unknown>
zlib                      1.2.11                  intel_3  [intel]  intel

[Todd_T_Intel]

Craig,

Can you send a list of the commands or steps you used to create your environment? 

Thank you,
Todd

[Todd_T_Intel]

Craig,

Your conda environment is corrupted because it looks like the 2018 packages were installed into the same directory as an existing 2017 installation. The best way to bring up a functional 2018 environment is to install it into a clean directory. If you require that the new installation be at the same location as the old, at this point you will need to remove or rename the existing environment before installing the 2018 product.

The supported means of updating from the 2017 product to the 2018 product is to use conda:

> conda install python=3.6 intelpython3_full=2018.0.0 -c intel

I would like to understand the process you used to arrive at the problem so we can take steps to avoid it in the future. If you can send the steps you followed, it would be appreciated.

Best,
Todd

[craig_s_]

OK.  Fresh install solved the problem.  Thanks.