Weril – Weril

Linux: DPDK, HYPERSCAN, SNABB; NETMAP DNA, PFRING, XDP; hugepages

Хорошие таблицы, взяты отсюда https://habr.com/ru/companies/garda/articles/985596/

Производитель	Модель	Скорость	Ключевые особенности	Применение
NVIDIA	BlueField-3 DPU	400 Gbps	16x ARM Cortex-A78, аппаратный eBPF	Cloud security, Zero-Trust
Intel	IPU E2000	200 Gbps	Интеграция с Open vSwitch, поддержка QAT	Виртуализация, SDN
AMD/Xilinx	Alveo SN1000	100 Gbps	FPGA + ARM-ядра, анализ TLS/SSL	Финансовый мониторинг
Marvell	OCTEON 10 DPU	100 Gbps	8x ARM Neoverse N2, аппаратный DPI	Телеком (5G UPF)

Программные методы					Аппаратные методы
	AF_PACKET	PF_RING / PF_RING ZC	DPDK (PMD)	DPDK (AF_XDP)	FPGA	SmartNIC
Скорость	До 10 Gbps	10 Gbps 40-100 Gbps	До 200+ Gbps	До 100 Gbps	Многократные 100G порты (400G, 800G)	До 200 Gbps на порт
Задержка (Latency)	Высокая	Средняя Низкая	Очень низкая	Низкая	Экстремально низкая детерминированная	Очень низкая детерминированная
Сложность реализации	Низкая (стандартный API)	Средняя (свои драйверы и библиотеки)	Высокая (выделенные ядра, управление памятью)	Высокая (работа с еВРЕ)	Очень высокая (HDL/Verilog/V HDL, RTL-дизайна)	Высокая (ASIC, C/OpenCL)
Стоимость	Бесплатно (входит в состав ОС)	Бесплатно / Платная	Бесплатно, но мощные CPU совместимые NIC	Бесплатно	Очень высокая	Высокая
Ключевые особенности	Простота использ-ниЯ, стандартность	Улучшенная производите-ть.

JAVA заметки

1995 год Язык программирования Java — первый язык программирования с кроссплатформенной поддержкой — был создан компанией Sun Microsystems (в последующем приобретенной компанией Oracle). Ведущим разработчиком в команде был Джеймс Гослинг — он известен как «отец Java».

Производительность

Тюнинг производительности JAVA от Oracle

Для тех кто нелюбит Java и говорит что она медленная.

Читать дальше

Coding: Python

Python.org – основной сайт. Тут можно скачать актуальный python на windows/linux/mac os, посмотреть документацию
Гвидо ван Россум – творец языка. По сути аналог Линус Торвальдса для Linux. 1989 год Голландский разработчик Гвидо ван Россум в качестве хобби-проекта во время рождественских каникул создает язык программирования Python.

Network: BGP общее, реализации (QUAGGA, BIRD, FRRouting); iWAN/PfR in Global Routing ; IP BGP anycast + ECMP + BGP community балансировка

Summary видео
- OMG 🙂 Белый дом решил заняться BGP Biden-⁠Harris Administration Releases Roadmap to Enhance Internet Routing Security
- BGP изначально построен по принципу доверия инженеру, настраивающему его
- Множество аварий связанных с BGP, включая утечки маршрутов / bgp hijacking
  - в 2008 падал youtube
  - в 2018 amazon S3 dns трафик перенаправлен ; воровство денег из криптокошельков
  - в 2021 падал facebook/insta
  - в 2026 падал телеграм, причем bgp hijacking осуществлялся по сути по предписанию органов Индии

Блокировка Telegram в Индии, удаление Telegram из индийских магазинов и сбой по всему миру

Власти Индии предписали временно заблокировать Telegram из-за массовой утечки экзаменационных билетов (NEET-UG).

Статистика и математика в IT

Сюда переношу все, что связано со статистикой и нужно было на практике – в тестировании, разработке и в других инженерных задачах.
Нужно уметь применять статистику (с этим часто проблема) и
- если задача найти максимальное расстояние между значениями ряда/выборки – то среднеквадратичное отклонение не подходит, нужно считать размах
- если задача найти максимальное расстояние от среднего – то среднеквадратичное отклонение тоже не подходит, нужно считать максимальное относительное отклонение

Про метрологию / погрешность / неопределенность измерений подробнее в отдельной статье про нагрузочное тестирование

(статистика, python, сетевое тестирование)

В целом же можно порекомендовать делать pandas describe на выборку для получения разнообразной статистики:

- - - count 94248.000000 – количество элементов (размер выборки)
    - mean 1.691554 – среднее
    - std 0.979690 – стандартное отклонение (величина высокая)
    - min -0.108278 – меньше этого гарантировано (на основе выборки) не будет
    - 25% 0.396944 – 25% выборки выше этого значения
    - 50% 2.301407 – медиана (median)
    - 75% 2.348383 – 75% выборки ниже этого значения
    - max 6.486859 – больше этого гарантировано (на основе выборки) не будет

Так же может дополнительно быть необходимо:

- - - 1%
      - https://www.rfc-editor.org/rfc/rfc9693.html

Artificial Intelligence (AI): Machine learning (ML), Deep Learning (DP); оценка эффективности ML моделей

Американские компании OpenAI и Amazon Web Services (AWS) заключили соглашение о стратегическом партнерстве в области искусственного интеллекта на $38 млрд, сообщает Bloomberg. Соглашение рассчитано на семь лет и предусматривает предоставление OpenAI доступа к облачной инфраструктуре AWS. Речь идет о сотнях тысяч графических процессоров Nvidia Corp.

NIC, Linux: работа с NIC, с сетевыми интерфейсами

BASIC

COMPARING NET-TOOLS VS. IPROUTE PACKAGE COMMANDS
Очереди сетевой карты (NIC queues), также известные как кольцевые буферы (ring buffers), используют оперативную память (RAM) компьютера, а не внутреннюю память самой карты. Очереди приема (Rx) и передачи (Tx) представляют собой области в системной RAM, которые выделяются драйвером сетевой карты при инициализации.

Network: работа с pcap – сбор и анализ (Wireshark/tshark, tcpdump, packetdump, capinfos), редактирование (hex editor, tcprewrite, bittwiste, editcap, mergecap, wireedit), воспроизведение (tcpreplay, bittwist), анонимизация, комплексные продукты (moloch, observer)

СБОР и АНАЛИЗ

Разное

(Wireshark, ИИ) ИИ может использоваться для генерации pcap на основе описания трафика корректных с точки зрения протокола (TrafficT5)

https://www.sciencedirect.com/science/article/abs/pii/S1389128625008242 

We introduce TrafficT5, a three-stage, self-correcting framework that turns natural-language intents into executable PCAPs. It (i) predicts flow-level features, (ii) generates byte-aligned hex under a fixed 00–FF vocabulary, and (iii) invokes a repair module that deterministically enforces protocol invariants and performs detector-guided, iterative byte-level correction trained with multi-task objectives.

Гипервизоры VirtualBox/WorkStation/Fusion/ESXI/Hyper-V/XEN; KVM/QEMU (oVirt/Proxmox VE)

(Rfc 9411, virtualization) Советы бывалых при тестировании на производительность сетевых решений в виртуализации
1. использовать numa/cpu core pinning
2. использовать DirectPath I/O (PCI passthrough или SR-IOV) – подробнее о них смотри ниже
3. отключить миграцию vmotion/live migration
4. Не забудьте: иногда проще и честнее взять физический DUT, чем бороться с виртуальными ресурсами виртуалки.

Основы Big data

Аналитические платформы крайне востребованы в государственных задачах – пример Palantir Texhnologies

Palantir Technologies делает не «еще один искусственный интеллект» и не обычную базу данных. Компания продает платформы, которые соединяют разрозненные сведения, строят связи между людьми, объектами, событиями и процессами, а затем дают аналитикам интерфейс для решений.