Artificial Intelligence (AI): Machine learning (ML), Deep Learning (DP); оценка эффективности ML моделей


Американские компании OpenAI и Amazon Web Services (AWS) заключили соглашение о стратегическом партнерстве в области искусственного интеллекта на $38 млрд, сообщает Bloomberg. Соглашение рассчитано на семь лет и предусматривает предоставление OpenAI доступа к облачной инфраструктуре AWS.  Речь идет о сотнях тысяч графических процессоров Nvidia Corp.



Читать дальше

Coding: архитектура, программирование и разработка, подходы, best practices, devops, containers (k8s, docker, nomad, mesos), releases, waterfall/agile, scrum, sprints, CI/CD, Serverless computing, Microservice Architecture; ITIL/IT management; shift left ; KISS/SSOT; DRY; балансировка/шардирование; документирование

  • о code review / код ревью

  • (Мониторинг, devops) Как tivoli менеджер проникся puppet и практиками devops для эксплуатации


Развитие технология, изменение стеков, изменение подходов
  • Era: mainframe – client/server – cloud
  • Language: cobol – c – java
  • Cycle time: Years – months – weeks
  • Costs: Billion – million – 100k
  • Risks: company – product – feature

Разные цели эксплуатации и разработки (operations & development)


Программирование Best Practices

  • Почему все не стоит писать на С: Потому что в абсолютном большинстве веб приложений бутылочным горлышком является база данных, а не код приложения.



Читать дальше

Linux, работа с дисками – разделы, файлы, файловые системы в ОС, LVM (ls, lsblk, fdisk, find, rm/mdir/shred/tmpwatch, dd, synctoy, df, du, tree, iotop, parted, mkfs, mount, fstab, fsck, find, clonezilla, parted/gparted, OSFmount, ln, life cd&usb, flock, iotop/iostat/lsof, split, paste)

разное/ОПРЕДЕЛЕНИЯ

  • Основные мониторинг объекты хранения:

    1. утилизация памяти (дисков/ram/swap)
      1. 100% утилизация в df под snap/cd/dvd это нормально т.к. Snap всегда полностью утилизированы – они доступны только на read
    2. Iops (inout/output operations per second – read/write)
    3. Методы добавления места
    4.     (0) Сначала убедиться что то, что занимает место хранения это легитимные файлы (du)
    5.     (1) LVM, если используется, позволяет в сценариях необходимости добавления памяти хорош – просто добавляем к старому диску еще один новый и пользуемся
    6.     (2) Перенести часть тяжеловесных директорий со старого диска на новый и смонтировать их туда
    7.     (3) Склонировать полностью старый диск на новый более объемный
  • Все в Linux есть файл.


Читать дальше

Linux: информация о системе (system info, uptime, dmidecode)

uptime – маленькая утилита. Показывает Uptime, количество юзеров, load average (1, 5, 15 min).
~$ uptime
 16:18:52 up 14 days, 16:17, 1 user, load average: 0.00, 0.01, 0.05

>> load average 20 bad or good
A load average of 20 is bad if your system has fewer than 20 CPU cores, as it indicates that tasks are waiting for CPU time and the system is likely overloaded.


Читать дальше

Статистика и математика в IT

  • Сюда переношу все, что связано со статистикой и нужно было на практике – в тестировании, разработке и в других инженерных задачах.
  • Про метрологию / погрешность / неопределенность измерений подробнее в отдельной статье про нагрузочное тестирование

Арифметической прогрессией (арифметической последовательностью) – последовательность с фиксированным инкрементом.

Читать дальше

Основы облачных технологий и виртуализации (cloud общее)

  • Частично ниже инфа как конспект вебинара HonorCup E=DC2 для сдачи HCNA Cloud.
  • Описание терминов облачных вычислений можно посмотреть в документе NIST 800-145
  • (cloud общее, big tech) Adguard выбрали железо вместо облаков из-за цены, плохой гибкости с BGP и фактической плохой скорости деплоя/необходимости ручных действий со стороны облака для балансировки (terraform fail) 
    Железо vs облако

Во-первых, сложно найти облако с BGP.


Читать дальше

Linux/BSD: популярные дистрибутивы (general, network)

  • Корпоративный сегмент: грубо говоря 45% debian (ubuntu+debian+raspbian), 45% rhel (centos+rhel+fedora), 10% остальные
  • Популярные дистрибутивы могут выбирать не самую продолжительную (отличную от Long term support, LTS) по поддержке сборку Linux Kernel для своей работы (напр. Fedora, Ubuntu) – чтобы как можно раньше находить баги с новыми версиями.


Читать дальше

Network: BGP общее, реализации (QUAGGA, BIRD, FRRouting); iWAN/PfR in Global Routing ; IP BGP anycast + ECMP + BGP community балансировка

  • Summary видео
    • OMG 🙂 Белый дом решил заняться BGP Biden-⁠Harris Administration Releases Roadmap to Enhance Internet Routing Security
    • BGP изначально построен по принципу доверия инженеру, настраивающему его
    • Множество аварий связанных с BGP, включая утечки маршрутов
      •  
      • в 2008 падал youtube 
      • в 2018 amazon S3 dns трафик перенаправлен ; вопровство денег из криптокошельков
      • в 2021 падал facebook/insta
    • ответом в том числе по мнению белого дома является использование RPKI для валидации коррекности принимаемой информации; при этом он плохо применяется в USA (30%) в сравнении с Европой (70%)

  • CheatSheet
  • Полезные ссылки – построение графов, список соседей по пирингу, префиксы и проч
    • bgp.he.net


Читать дальше

Network: эволюция производительности сетевых устройств и трансиверов (100G, 400G, 800G)



Читать дальше