Статистика и математика в IT

  • Сюда переношу все, что связано со статистикой и нужно было на практике – в тестировании, разработке и в других инженерных задачах.
  • Нужно уметь применять статистику (с этим часто проблема) и
    • если задача найти максимальное расстояние между значениями ряда/выборки – то среднеквадратичное отклонение не подходит, нужно считать размах
    • если задача найти максимальное расстояние от среднего – то среднеквадратичное отклонение тоже не подходит, нужно считать Максимальное относительное отклонение

(статистика, python, сетевое тестирование)

В целом же можно порекомендовать делать pandas describe на выборку для получения разнообразной статистики:

        • count 94248.000000 – количество элементов (размер выборки)
        • mean 1.691554 – среднее
        • std 0.979690 – стандартное отклонение (величина высокая)
        • min -0.108278 – меньше этого гарантировано (на основе выборки) не будет
        • 25% 0.396944 – 25% выборки выше этого значения
        • 50% 2.301407 – медиана (median)
        • 75% 2.348383 – 75% выборки ниже этого значения
        • max 6.486859 – больше этого гарантировано (на основе выборки) не будет

Так же может дополнительно быть необходимо:

        • 1%
          • https://www.rfc-editor.org/rfc/rfc9693.html


Читать дальше

Coding: Python

  • Python.org – основной сайт. Тут можно скачать актуальный python на windows/linux/mac os, посмотреть документацию
  • Гвидо ван Россум – творец языка. По сути аналог Линус Торвальдса для Linux. 1989 год Голландский разработчик Гвидо ван Россум в качестве хобби-проекта во время рождественских каникул создает язык программирования Python.


Читать дальше

Artificial Intelligence (AI): Machine learning (ML), Deep Learning (DP); оценка эффективности ML моделей


Американские компании OpenAI и Amazon Web Services (AWS) заключили соглашение о стратегическом партнерстве в области искусственного интеллекта на $38 млрд, сообщает Bloomberg. Соглашение рассчитано на семь лет и предусматривает предоставление OpenAI доступа к облачной инфраструктуре AWS.  Речь идет о сотнях тысяч графических процессоров Nvidia Corp.



Читать дальше

IoT, протоколы, умный дом и умные девайсы

Про безопасность IoT устройств читаем тут. Короткий ролик про IoT протоколы от Droider.

 

 SMART CITY

IoT вплотную внедряется – в Минске уличное освещение управляется и мониторится через 3G/LTE ОПСОСа. Такое освещение более экономно. В довольно древнем ролике по ссылке столбы от IntelliStreets освещения супер-digital, причем с аплинком по radio (видимо 3G/LTE) и функционалом: возможность записи/мониторинга ситуации на дорогах (камеры/микрофоны), громкоговорители, небольшие встроенные digital рекламные банеры, небольшие digital указатели.

Читать дальше

Coding/Network: Автоматизация (общее), программирование для сетевых инженеров, сетевая автоматизация (devnet, netdevops, netops); ZTP

  • Про системы конфигурации отдельная статья – CMS
  • Про NMS отдельная статья – NMS
  • (devnet, CMS annet) Нужно общаться с пользователям очень плотно если вы автоматизируете из работу – собирать требования/фидбеки, реагировать
  • Опрос на habr.
Как Вы управляете конфигурацией?
33.61% Ручное редактирование конфигурационных файлов - 40
31.93% GitOps - 38
20.17% Web UI - 24
14.29% другое - 17
Проголосовали 119 пользователей.


Читать дальше

Полезные Hotkey Shortcuts (бинды)

Windows (Word/Excel/etc)
  • win +> (альтернатива: win + Ж) – эмодзи/смайлы по выбору 💙❤💜❤🧡
  • 1F400 и alt+x – смайлы по коду в word

  • win + arrow – позволяет удобно размещать окно приложения на экране, не занимаясь раздвиганиями границ окна

    • left – to the left
    • right – to the right
    • up – full screen
    • down – small screen
  • HOME – переход к началу строки (hotkey для Linux ниже)
  • END – переход к концу строки (hotkey для Linux ниже)
  • ctrl+shift+esc – открыть диспетчер задач
  • ctrl+shift+home (в notepad точно работает)- выделить всё от текущего места до начала файла.


Читать дальше

Network: HTML, HTTP, browsers разные хинты

HTTP
http QUERY

<стартовая строка>: method, URI, http version
<заголовки>
<тело запроса>
  • В заголовке в поле Host передается адрес сервера (fqdn/ip), что позволяет напр. на web сервере с множеством сайтом определить какой сайт отдавать
  • Клиент и сервер могут использовать разные версии протокола НТТР, при этом все будет работать корректно.


Читать дальше

Network: эволюция производительности сетевых устройств и трансиверов (100G, 200G, 400G, 800G, 1600G)

 

Тренды по развитию скоростных портов в зависимости от сферы применения (data center, AI frontend, AI backend) – BRKOPT-2699.pdf 

 



Читать дальше

Network/Security: NMS monitoring/observability/management/inventory решения (Zabbix, Cacti, Nagios, MRTG, NocTools; Orange, Cisco PRIME, Arista CVP, Netcool, BMC Patrol/TrueSight, Infovista), протоколы (snmp, netflow), NMS, будущее (rpc, nats, brpc, yang/restconf/netconf); Cisco: Stealthwatch, CTA, ETA; мониторинг производительности системы (sysstat); XDR; SIEM; NTA, NAD; BGP BMP; HADAL

  • Linux Performance Observability Tools: strace ltrace ss nstat gethostlatency sar proc dmesg dstat opensnoop laof fatrace filelife pcstat execsnoop mpstat profile runqlen offcputime softirqs turbostat show boost rmdsr perf fteace LTTng BCC bpftrace ext4dist ext4slower top atop ps pidstat vmstat slabtop free tiptop perf numastat hardirqs criticalstat nicstat netstat ip lldptool snmpget ethtool tcplife tcpretrans udpconnect tcpdump perf tiptop mdflush iostat biosnoop biolatency biotop blktrace swapon

  • Мониторинг призван уменьшать значение времени исправления проблем (MTTR) или даже предотвращать возникновение аварийных ситуаций (подробнее ниже)
  • Задача классического админа, решаемая мониторингом – сделать алерты в системе мониторинга на уменьшение количества краски в принтерах
  • Существует разная глубина взросления «мониоринга» – реакция по негативному фидбеку/инцидента от пользователя, реакция на события мониторинга еще до обращения клиента, автоматизация на события мониторинга (напр.


Читать дальше

Основы тестирования (Quality Assurance)

Tests can make good code great!
  • Статья о IXIA
  • Бажат все, даже такие ведущие вендоры как Cisco (особенно Firepower :D). Важно насколько сырой продукт в текущем состоянии и как быстро исправляют проблемы.
из чатика:
на 65 залипает или вообще не работает вплс, на а1к перестают анонситься маршруты, нцс просто тупо сырые.


Читать дальше