Проблема с GRE(47) пакетами при прохождении через сетевой адаптер Intel E810-CQDA2 Ethernet 100Gb 2

[RomanVTrepalin]

Доброго дня!

Имеется сервер HPE-DL325 Gen10+ В котором установлены 2 сетевых адаптера:

Intel E810-CQDA2 Ethernet 100Gb 2-port QSFP28 (E810CQDA2BLK) SN 978323 fw.ver 2.15

Intel E810-CQDA1 Ethernet 100Gb 1-port QSFP28 (E810CQDA1BLK)SN 978313  fw.ver 2.30

На сервере установлена ОС CentOS8

Сквозь адаптеры до операционной системы сервера не доходят пакеты GRE (47) использующиеся PPTP протоколом.
Снимали pcap с коммутатора - пакет с порта отправляется. В драйвер сетевой карты ( ни в DPDK ни в ice ) они уже не попадают. Анализировали как софтом, использующим DPDK - в нашем случае это fastdpi от ВАС Экспертс - так и tcpdump'ом. 
TCP1723 - проходят нормально, GRE - нет.

Устанавливали в этот же сервер, на место этих адаптеров, адаптеры другого типа - Ethernet controller: Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection (rev 01) - проблем нет.

Сможете подсказать, что нужно сделать, чтобы адаптеры заработали нормально??

[Caguicla_Intel]

Hello RomanVTrepalin,

Thank you for posting in Intel Ethernet Communities. 

Пожалуйста, иь, пожалуйста, ими можно сообщить, что я могу поддерживать вас только на английском языке. Я использовал инструмент веб-перевода для перевода этого ответа, следовательно, может быть некоторый неточный перевод.

To proceed with your request, please provide the following information that would help with the investigation?

1. Driver version of your E810-CQDA2 adapter. 

2. Is it possible to share the PBA of the adapter. You may refer to the link below on where to find the PBA number. It consist of 6-3 digit number located at the last part of the serial number. This would help us identify if you are using an Original Equipment Manufacturer or retail version of Intel Ethernet Adapter.

Identify Your Intel® Network Adapter Model Using PBA Number

https://www.intel.com/content/www/us/en/support/articles/000007022/network-and-i-o/ethernet-products.html

3. Please refer to below information for the translation of your query from our web translation tool and let us know if this is accurate translation with your query. 

The problem with GRE (47) packages when passing through the Intel E810-C'DA2 Ethernet 100Gb 2

Have a good day!

There is a server HPE-DL325 Gen10 in which 2 network adapters are installed:

Intel E810-CQDA2 Ethernet 100Gb 2-port QSFP28 (E810CQDA2BLK) SN 978323 fw.ver 2.15

Intel E810-CQDA1 Ethernet 100Gb 1-port QSFP28 (E810CQDA1BLK)SN 978313 fw.ver 2.30

CentOS8 installed on the server

The GRE (47) packages used by PPTP cannot reach the server operating system through the adapters.

Removed pcap from the switchboard - the package from the port is sent. They are no longer in the driver of the network card (neither in dpDK nor in ice). Analyzed as software using DPDK - in our case it is fastdpi from YOU Experts - and tcpdump. 

TCP1723 - pass normally, GRE - no.

Installed in the same server, in place of these adapters, adapters of another type - Ethernet controller: Intel Corporation 82599ES 10-Gigabit SFI/SFP Network Connection (rev 01) - no problem.

Will you be able to tell you what you need to do to make the adapters work normally??

Looking forward to your reply.

We will follow up after 3 business days in case we don't hear from you.

Best regards,

Crisselle C.

Intel® Customer Support

[RomanVTrepalin]

Доброго дня!

Машинный перевод был корректен, поэтому меня устраивает такая форма общения.

>> 1. Driver version of your E810-CQDA2 adapter.

Не имело значения. После создания поста я загрузил сервер с LiveCD linuxmint-20.1-cinnamon-64bit.iso и создал в ней бридж. Ничего не изменилось. До ОС доходили все пакеты, кроме GRE.

В CentOS:

[ 5937.782066] ice: Intel(R) Ethernet Connection E800 Series Linux Driver - version 0.8.2-k
[ 5937.782067] ice: Copyright (c) 2018, Intel Corporation.
[ 5937.823692] ice 0000:03:00.1: DDP package already present on device: ICE OS Default Package version 1.3.26.0
[ 5937.855403] ice 0000:03:00.1 ens2f1: renamed from eth0
[ 5937.875242] ice 0000:03:00.1: DCB is enabled in the hardware, max number of TCs supported on this port are 8
[ 5937.875244] ice 0000:03:00.1: FW LLDP is disabled, DCBx/LLDP in SW mode.
[ 5937.875246] ice 0000:03:00.1: Commit DCB Configuration to the hardware
[ 5937.888120] ice 0000:03:00.1: 252.048 Gb/s available PCIe bandwidth (16 GT/s x16 link)

В linux mint сообщения были такие:

[  584.654000] ice 0000:03:00.0: The driver for the device detected a newer version of the NVM image than expected. Please install the most recent version of the network driver.
[  584.664515] ice 0000:03:00.0: firmware 5.1.5 api 1.7.3 nvm 2.15 0x800049c3 0.0.0 build 0x7a25e184
[  585.237597] ice 0000:03:00.0: The DDP package was successfully loaded: ICE OS Default Package version 1.3.4.0
[  585.250400] ice 0000:03:00.0: DCB is enabled in the hardware, max number of TCs supported on this port are 8
[  585.250402] ice 0000:03:00.0: FW LLDP is disabled, DCBx/LLDP in SW mode.
[  585.252765] ice 0000:03:00.0 ens2f0: renamed from eth0
[  585.263341] ice 0000:03:00.1: The driver for the device detected a newer version of the NVM image than expected. Please install the most recent version of the network driver.
[  585.278450] ice 0000:03:00.1: firmware 5.1.5 api 1.7.3 nvm 2.15 0x800049c3 0.0.0 build 0x7a25e184
[  585.279277] ice 0000:03:00.1: DDP package already present on device: ICE OS Default Package version 1.3.4.0
[  585.295967] ice 0000:03:00.1: DCB is enabled in the hardware, max number of TCs supported on this port are 8
[  585.295969] ice 0000:03:00.1: FW LLDP is disabled, DCBx/LLDP in SW mode.
[  585.299309] ice 0000:03:00.1 ens2f1: renamed from eth0
[  585.504541] ice 0000:03:00.0 ens2f0: NIC Link is up 100 Gbps, Requested FEC: RS-FEC, FEC: RS-FEC, Autoneg: False, Flow Control: None
[  585.660697] ice 0000:03:00.1 ens2f1: NIC Link is up 100 Gbps, Requested FEC: RS-FEC, FEC: RS-FEC, Autoneg: False, Flow Control: None

Номера PBA адаптеров - 
M17659-003 (Intel E810-CQDA1 Ethernet 100Gb 1-port QSFP28 (E810CQDA1BLK)SN 978313 fw.ver 2.30)

K91258-006 ( Intel E810-CQDA2 Ethernet 100Gb 2-port QSFP28 (E810CQDA2BLK) SN 978323 fw.ver 2.15 )

Стикеры BradyID:

https://verifyintel.bradyid.com/Home/AuthenticationLegitimateCode?GpasCodeInput=853074130937

На второй:
https://verifyintel.bradyid.com/Home/AuthenticationLegitimateCode?GpasCodeInput=410450923227

Тип трансиверов значения не имеет. Ставил 10Gb и 100Gb.

[RomanVTrepalin]

Доброго дня!

Обновляю.

В двухпортовом адаптере обновил прошивку до 2.50. Обновил также драйвер сетевой карты в CentOS до 1.5.8.
Проблема осталась.

Адаптер все равно отбрасывает пакеты:

10.255.255.6 > 10.33.33.2: GREv1, Flags [key present, sequence# present], call 28416, seq 4, proto PPP (0x880b), length 36
LCP (0xc021), length 24: LCP, Conf-Request (0x01), id 1, length 22
encoded length 20 (=Option(s) length 16)
0x0000: c021 0101 0014
ACCM Option (0x02), length 6: 0x00000000
0x0000: 0000 0000
Magic-Num Option (0x05), length 6: 0x03602414
0x0000: 0360 2414
PFC Option (0x07), length 2
ACFC Option (0x08), length 2

Дамп снимаю одновременно с порта коммутатора, в который подключен адаптер, и с сетевой карты.

с порта коммутатора пакет отправляется, регистрирую с помощью RSPAN , на сервере нет ничего. Нет прироста в счетчике пакетов драйвера, нет ошибок, нет ничего в TCPDUMP.

Если переключаем патч в другую карту - пакеты до сервера доходят нормально.

[Caguicla_Intel]

Hello Roman,

Appreciate your swift response and for the effort in sharing the requested information.

Please allow me to further check your query with our higher level support. Rest assured that we will give you an update as soon as possible but no later than 2-3 business days.

Hoping for your kind patience.

Best regards,

Crisselle C.

Intel® Customer Support

[RomanVTrepalin]

Доброго дня!
Подождем ответа. Возможно, вашим специалистам понадобится больше данных. Я записал PCAP с одного из портов коммутатора.
В нем хорошо видны попытки установить соединение. Виден обмен по TCP1723. И видно, что GRE  пакеты уходят только в сторону сервера.

Файл прилагаю.

С уважением, Роман.

[Caguicla_Intel]

Hello Roman,

Thank you for providing additional information. 

Rest assured that we will include this on our escalation. We will get back to you as soon as there is any findings but no later than 2-3 business days.

Best regards,

Crisselle C.

Intel® Customer Support

[Caguicla_Intel]

Hello Roman,

Good day!

We already escalated this request and our higher level support would like to confirm if the 2.5 Firmware version are both applied on E810 CQDA1 and CQDA2? This is because based on your previous post, it seems that only CQDA2 was updated.

Awaiting to hear from you.

Should there be no reply, we will follow up after 3 business days.

Best regards,

Crisselle C.

Intel® Customer Support

[RomanVTrepalin]

Добрый день!

Совершенно верно. До версии прошивки 2.5 я обновил только адаптер CQDA2.  Поскольку она двух портовая, то я использую сейчас ее порты. CQDA1 я временно с сервера снял. 

Проблема проявляется на обеих картах одинаково и вне зависимости от версии прошивки. Думаю, что с обновлением CQDA1 проблем не возникнет. Также если удастся решить проблему на одной карте (CQDA2), то это же решение можно будет применить и ко второй.

Вторая карта устанавливалась в сервер по той причине, что суммарная пропускная способность сервера должна быть до 200Гб.с.  Максимальная же пропускная способность одной карты E810-CQDA2 только до 100Гб.с. Следовательно нам нужно будет использовать две карты E810. Но это в будущем. В настоящем же я не могу пропустить пользовательский трафик через сервер, так как теряются пакеты LCP(GRE) протокола PPTP. Тогда как этот протокол все еще используется большим количеством пользователей.

С уважением, Роман.

[Caguicla_Intel]

Hello Roman,

Thank you for the confirmation. 

Please allow us to re-escalate this request to continue with the investigation. We will get back to you as soon as possible but no later than 2-3 business days.

Hoping for your kind patience.

Best regards,

Crisselle C.

Intel® Customer Support

[RomanVTrepalin]

Добрый день!

С нетерпением ожидаю результатов. Если нужны будут дополнительные данные, сообщите мне об этом.

С уважением, Роман.

[Caguicla_Intel]

Hello Roman,

Good day and I hope this message finds you well!

We sincerely apologize for the delay on this matter as we are thoroughly checking on this together with our engineers. Please give us more time to look into this. Rest assured that we will give you an update as soon as there is any findings but not later than 3 business days.

Thank you for your kind understanding.

Best regards,

Crisselle Franz

Intel Customer Support

[RomanVTrepalin]

Добрый день!
Я понимаю, что проблема нетривиальная. Подожду.
Хочу напомнить, если это может иметь значение, что сетевые адаптеры используются в сервере HP DL-325 Gen 10 plus .

С уважением, Роман.

[Caguicla_Intel]

Hello Roman,

Apologies for the delay on this request. 

Please be informed that this request is still escalated to our engineers. Rest assured that we will give you an update as soon as we heard from them but no later than 2-4 business days.

Thank you for your kind patience. 

Best regards,

Crisselle C.

Intel® Customer Support 

[RomanVTrepalin]

Добрый день!

Сегодня подключились коллеги из ВасЭкспертс, производителя используемого ПО, и подсказали замечательную идею - использовать для теста только сетевой адаптер, без коммутатора. То есть соединить порты адаптера патчем и протестировать передачу и прием пакетов. Сбрасывая счетчики перед каждым тестом. А также посмотрели расширенную статистику.

Использовали ранее записанный PCAP из 60 пакетов, и программу tcpreplay. К моему изумлению, общий счетчик принятых пакетов оказался равен 60. Но.. 11 пакетов были в счетчике rx_good_packets, а 49 пакетов попали в rx_unknown_protocol_packets.

Подсчитали и оказалось, что 11 принятых пакетов были TCP1723, тогда как 49 неизвестных пакетов - были как раз те самые GRE.

Тестировали и с драйвером DPDK и драйвером ICE. В обоих случаях результат одинаков. 11 принятых и 49 отброшенных пакетов.

Коллеги вспомнили , что читали про аналогичную ситуацию и дали ссылку:

https://community.intel.com/t5/Ethernet-Products/XL710-NIC-dropping-IPX-ether-type-0x8137-packets-however-Intel/td-p/732080

http://mails.dpdk.org/archives/users/2016-August/000810.html

Возможно эта информация поможет продвинуть расследование.

С уважением, Роман.

[Caguicla_Intel]

Hello Roman,

Thank you for the update. 

We totally understand the importance of this request and how this has impacted your workflow. With this, we sincerely apologize for the delay and inconvenience that this might have caused. Rest assured that we will communicate your update to our engineers for further investigation.

We will get back to you as soon as we heard from them but no later than 2-4 business days. 

Thank you for your kind understanding.

Best regards,

Crisselle C.

Intel® Customer Support 

[Caguicla_Intel]

Hello Roman,

How are you doing? 

Please be informed that this request has been escalated to our E810 engineering team for resolution. We will give you an update as soon as we heard from them but no later than 2-4 business days.

Thank you for the patience. 

Best regards,

Crisselle C.

Intel® Customer Support 

[RomanVTrepalin]

Доброго дня!

Я ожидаю решения. 

С уважением, Роман.

[RomanVTrepalin]

После теста с соединенными кабелем портами, я даже не представляю себе, что можно было бы еще поверить.

Но тем не менее есть еще одно дополнение, которое может продвинуть расследование. Адаптер отбрасывает пакеты GREv1 без dot1q тега, и с одним dot1q тегом. Я сам далее не пошел, но коллеги попробовали пропустить через адаптер пакеты с двойным тегированием(Q-in-Q). Номера тегов не имеют значения. Пакеты с двойным тегом проходят.

В моем случае данное решение не подходит, поскольку в ПО используются политики на основе dot1q тегов.

[Caguicla_Intel]

Hello Roman,

Thank you for the additional information provided. Rest assured that this will be communicated to our engineers. 

Please also be informed that this request is still under review by our E810 engineers. We will give you an update as soon as we heard from them but no later than 2-4 business days. 

Thank you for your kind understanding and stay safe!

Best regards,

Crisselle C.

Intel® Customer Support 

[Caguicla_Intel]

Hello Roman,

Good day!

Please be informed that our engineers are working with validation team with the pcap file. Rest assured that we will give an update as soon as there is any findings but no later than 2-4 business days.

Thank you for your kind patience.

Best regards,

Crisselle C.

Intel® Customer Support