Windows Server 2016

Продукт
Название базовой системы (платформы): Microsoft Windows
Разработчики: Microsoft
Дата последнего релиза: 2017/08/11

Содержание

2022

Обновления вызволи сбои контроллера домена

Последние обновления Windows Server KB5019966 , выпущенные в ноябрьский вторник исправлений, вызывают утечки памяти LSASS , которые могут привести к зависанию и перезапуску контроллера домена. Об этом стало известно 28 ноября 2022 года. Подробнее здесь.

Блокировка уязвимых драйверов с помощью WDAC

29 марта 2022 года стало известно, что компания Microsoft предоставила пользователям Windows возможность блокировать драйверы с уязвимостями с помощью Windows Defender Application Control (WDAC) и «черного списка» уязвимых драйверов.

Представленная опция является частью набора функций безопасности Core Isolation для устройств, использующих безопасность на основе виртуализации. Функция работает на устройствах под управлением Windows 10, Windows 11, Windows Server 2016 и более поздних версий с включенной функцией Hypervisor-Protected Code Integrity (HVCI), а также на системах под управлением Windows 10 в S-режиме. Подробнее здесь.

2019: Windows Server 2016 заняла третье место по количеству уязвимостей

В ходе анализа статистики уязвимостей в различных операционных системах и программных продуктах по итогам 2019 года выяснилось, что на третьем месте оказалась Windows Server 2016 (357 уязвимостей). Подробнее здесь.

2017

Планы по добавлению поддержки Linux-контейнеров

15 сентября 2017 года Microsoft объявила о планах добавить в Windows Server 2016 контейнерные технологии.

Согласно заявлению вендора, это делается с целью облегчить предприятиям перенос приложений или модернизацию существующих инсталляций системы[1].Эволюция в развитии российских средств защиты от сетевых угроз: как Kaspersky NGFW меняет расстановку сил на рынке

Сборка серверной редакции Windows под номером 1709 для участников программы раннего тестирования продуктов Windows Insiders подготовлена с возможностью запуска контейнеров Linux. Выпуск окончательной сборки Windows Server 2016 запланирован на начало октября 2017 года. В сентябре 2017 года этот продукт в редакции Windows Server Insider Build 16237 обзавелся слоем совместимости для запуска Linux-приложений Windows Subsystem for Linux (WSL). Впрочем, пока что WSL позволяет запускать только интерактивные консольные приложения и не поддерживает выполнение постоянно работающих Linux-сервисов и фоновых процессов.

Microsoft работала над совершенствованием работы контейнеров Linux в Windows Server в рамках проекта Moby. Он предназначен для системных сборщиков, создающих свои инфраструктурные решения на основе контейнеров. При создании сборок/комплектов можно использовать библиотеку компонентов из Docker, выбирать сторонние компоненты («bring your own components», BYOC), упакованные в виде контейнеров. Технически проект состоит из фреймворка для сборки компонентов в единую платформу на платформе самодостаточного контейнера и утилит для сборки, эталонного комплекта Moby Origin, служащего открытой базой для платформы Docker-контейнеров.

Запуск бета Subsystem for Linux

11 августа 2017 года Microsoft сообщила о бета-версии технологии запуска Linux-приложений для сборки Windows Server Insider Build 16237. Подсистема допускает работу консольных приложений в интерактивном режиме и на 11 августа 2017 года не поддерживает выполнение постоянно работающих Linux-сервисов и фоновых процессов.

Windows Subsystem for Linux (WSL) появилась в виде бета-версии с подготовкой Windows 10 Creators Update. После интеграции WSL в пользовательскую версию Windows Microsoft решила добавить ее в серверную редакцию операционной системы. Первой слой совместимости для запуска Linux-приложений получила тестовая сборка Windows Server Insider Build 16237. WSL позволяет запускать только интерактивные консольные приложения и пока не поддерживает выполнение постоянно работающих Linux-сервисов и фоновых процессов. Для подобных задач рекомендованы средства для запуска Linux в контейнерах Hyper-V, также появившиеся в Windows Server. Поддерживается запуск сценариев node.js, Ruby, Python, Perl, Bash и других инструментов для работы в Linux[2].

В состав Windows Server Insider Build 16237 вошла технология оптимизации доставки обновлений. Она поддерживает ускоренную и стабильную загрузку обновлений, в том числе посредством пирингового обмена файлами с другими компьютерами.

В сборку Windows Server Insider Build 16237 добавлены базовые образы контейнеров, оптимизированы базовые образы Nano Server (на 70% компактнее) и Server Core (на 20% компактнее), реализована поддержка монтирования томов SMB (блок сообщений сервера), присутствует поддержка экранированных виртуальных машин Linux, защищенных кластеров и зашифрованных виртуальных сетей. SMBv1, который повлек цепь ransomware-атак, в этой сборке отключен по умолчанию.

Добавлена поддержка дедупликации данных для Resilient File System (ReFS). Для более эффективного перемещения данных файловую систему дополнили API DataDort Data Deduplication. Применяемая для объединения внутреннего хранилища серверов технология Storage Spaces Direct обзавелась совместимостью с комплектами памяти, которые сочетают флэш-память и DRAM.

Основной функционал

17 марта 2017 года компания Microsoft опубликовала перечень основных приложений в составе вышедшего релиза версии Windows Server 2016.

В ней представлено множество функций для создания частного облака.

Краткий обзор изменений в Windows Server 2016.

Windows Server 2016 - частью платформы для частного облака, которую разработчики называют Microsoft Datacenter vNext. В её составе System Center 2016 и Windows Azure Pack для управления облачной средой[3].

Эта платформа действует отдельно от платформы Azure Stack, но в компании полагают, после выхода Azure Stack, эти решения могут дополнять друг друга.

Существует две «ипостаси» Windows Server 2016: Windows Server на хосте и Windows Server в гостевой виртуальной машине.


Windows Server 2016 на хосте

Microsoft придерживается концепции «Программно определяемого центра обработки данных» (Software-defined Datacenter).

В программно определяемом ЦОД не требуется покупать дорогостоящее проприетарное оборудование. Вычисления (на уровне виртуализации), сеть и системы хранения данных — всем можно управлять с помощью программного обеспечения, такого как Windows Server и System Center.

  • Nano Server — облегченная версия OS на хостах Hyper-V.
  • Увеличенный лимит масштабирования: теперь доступен запуск ВМ с 240 виртуальными ЦП и 16 Тбайт ОЗУ.
  • Возможности для ВМ на платформе Linux, раньше они были доступны только для ВМ на Windows: Secure Boot, vRSS, Hot-add, изменение размеров виртуальных дисков, улучшенная технология резервного копирования и PowerShell DSC.
  • Поддержка вложенной виртуализации: теперь возможен запуск виртуальных машин Hyper-V внутри других виртуальных машин Hyper-V. Это может быть полезной функцией для лабораторных сценариев и разработчиков.
  • Production Checkpoints: тип контрольных точек (снимков) ВМ, в которых используется служба моментального снимка тома (VSS) внутри гостевых ВМ для корректного создания снимка прикладного ПО, работающего внутри ВМ.
  • «Горячее» добавление сетевых адаптеров: в ВМ второго поколения можно добавлять сетевые адаптеры без простоев.
  • Изменение конфигурации памяти без простоев: теперь не нужно выключать ВМ, чтобы активировать или деактивировать динамическую память.
  • PowerShell Direct позволяет отправлять команды PowerShell напрямую в ВМ.
  • Discrete Device Assignment: виртуальная машина получает прямой и эксклюзивный доступ к некоторым устройствам с интерфейсом PCIe (например GPU).
  • Интеграционные компоненты Hyper-V теперь автоматически обновляются через Microsoft Update. Для заказчика это означает, что теперь не нужно тратить время и ресурсы на обновление, поскольку арендатор может сам его выполнить.
  • Shielded VMs: технология защиты данных ВМ от администратора фабрики. Это ключевая функция Windows Server 2016 для сервис-провайдеров и крупных организаций, уникальная для Hyper-V.

Shielded VMs

Решение Shielded VMs позволяет владельцам приложений, работающим внутри ВМ, быть уверенными в том, что администраторы сервис-провайдера или администраторы частного облака не смогут получить доступ к конфиденциальной информации внутри ВМ. Некоторые заказчики не пользуются услугами поставщиков IaaS, опасаясь, что конкурент может подкупить администратора сервис-провайдера и попросить его скопировать виртуальную машину заказчика на общедоступный ресурс. Если сервис-провайдер использует не Windows Server 2016, то всегда есть риск того, что администратор фабрики со злым умыслом сможет скопировать ВМ-клиент на флеш-накопитель (или загрузить ее в OneDrive или аналогичный сервис) и передать конкурентам. Если это произойдет, конкурент получит доступ ко всем данным в этой ВМ, например к базе данных CRM с контактами всех клиентов компании. Технически это реализуемо, так как:

  • Администратор фабрики имеет права администратора (root) на хостах виртуализации. Это означает, что он может подключиться к ВМ с помощью консоли, изменить загрузчик операционной системы (bootloader) или внедрить вредоносную программу с помощью интеграционных компонентов гипервизора. Если есть доступ через консоль к Windows Server или ОС Linux, не составит труда изменить пароль локального администратора или пользователя root и получить полный доступ в ВМ. Злоумышленники могут сбросить пароль локального администратора через Console Access и заполучить секретные данные из ВМ.
  • Если есть доступ к виртуальному диску ВМ, можно внедрить любые скрипты в ВМ. Но это приведет к простою (1-10 секунд), и арендатор обнаружит, что ВМ неожиданно перезагрузилась. Чтобы не вызвать подозрений, администратор фабрики может выполнить эту операцию во время планового технического обслуживания.
  • Даже если виртуальный диск ВМ зашифрован, администратор фабрики может скопировать ВМ, чтобы запустить ее за пределами доверенной среды. ВМ с зашифрованным диском является членом сети, и после запуска ВМ на ноутбуке злоумышленника она может быть взломана посредством виртуализации вместо LAN. Системы безопасности сервис-провайдера не обнаружат это, потому что ВМ будет запущена за пределами контролируемой среды. С помощью технологии создания снимков ВМ можно скопировать без каких-либо простоев. Владелец ВМ ничего даже не заметит. Кроме того, сам процесс копирования ВМ максимально прост: все, что нужно сделать, — это скопировать маленький конфигурационный файл ВМ и файл/файлы виртуального диска ВМ.
  • Шифрование диска ВМ обычно привносит сложности: например, нельзя обеспечить функциональность TPM внутри ВМ (в версиях до Windows Server 2016). Владельцу ВМ нужно вводить секретные ключи, чтобы разблокировать диск и загрузить ОС после каждой перезагрузки. Это снижает производительность ВМ, поскольку виртуальные ЦП будут заняты процессом шифрования.
  • ВМ в частном облаке обычно создаются из шаблонов или образов. Злоумышленник может внедрить вредоносный скрипт в шаблон, и ВМ заказчика будет заражена сразу же после создания из шаблона или образа. Этот вредоносный скрипт можно выполнить один раз и отправить секретные данные заказчика во внешнее местоположение, владельцем которого является злоумышленник.

Shielded VMs — эффективное решение для защиты конфиденциальных данных заказчика от перечисленных рисков. Для обеспечения комплексной безопасности данных в Windows Server 2016 используется ряд технологий. Режим Shielded VM: в этом режиме отключены некоторые интеграционные компоненты Hyper-V, которыми может воспользоваться злоумышленник (PowerShell Direct, Console Access, Guest File Copy Integration Components). Процесс VMWP, который зашифровывает трафик миграции в реальном времени в дополнение к файлу состояния среды выполнения, сохраненного состояния, контрольных точек и к даже файлам Hyper-V Replica.

Host Guardian Service: отдельная служба, владельцем которой является другое подразделение в организации (не администратор фабрики). Она проверяет состояние хоста, где планируется запускать ВМ, и определяет, разрешено ли запускать эту ВМ на этом хосте. Шифрование Bitlocker с помощью vTPM: виртуальный TPM внутри ВМ, который используется для шифрования виртуального диска с ключом, который безопасно хранится внутри чипа TPM. Библиотека доверенных образов Microsoft: владелец ВМ может быть уверен, что он создает ВМ из образов, предоставленных компанией Microsoft, и что эти образы не были изменены (то есть в них не мог быть внедрен вредоносный скрипт). Таким образом, Shielded VMs дает клиентам сервис-провайдеров уверенность в том, что их конфиденциальные данные не будут похищены. У заказчика появляется выбор на портале Azure Pack: создать ВМ в обычном режиме или же использовать механизмы Shielded VMs.


Доступна функция обновления ОС хостов кластера без его остановки (Cluster OS Rolling Upgrade), чтобы обновить каждый хост Hyper-V с 2012/2012R2 до 2016, не пересоздавая кластер. Теперь выполнять обновление до последней версии Window Server в кластере стало проще, вероятность простоев снизилась.


Программно определяемая сеть (SDN)

Программно определяемая сеть (Software-defined Network, SDN) появилась в Windows Server в версии 2012. Она позволяла администраторам фабрики создавать изолированные сети для разных арендаторов (внешних заказчиков или внутренних потребителей) и управлять ими, не меняя конфигурацию сетевого оборудования. Арендаторы могли использовать виртуальные сети на уровне гипервизора вместо VLAN на уровне сетевого оборудования. Это обеспечивало тот же уровень изоляции, но с возможностями самообслуживания и без ограничений, свойственных VLAN. SDN позволяет управлять сетью и использовать расширения на программном уровне, не изменяя аппаратную конфигурацию сети.

Windows Server 2012 использует NVGRE, как протокол для инкапсуляции виртуального сетевого трафика внутри трафика физической сети. Решение System Center Virtual Machine Manager играло роль мозга SDN и отвечало за распределение конфигурации между разными хостами Hyper-V. В Windows Server 2012 R2 представлен шлюз multi-tenant на базе RRaS, который обеспечивал внешнее подключение с возможностями VPN типа «точка-точка» и NAT.

Windows Server 2016 позволяет решить перечисленные проблемы посредством функций SDN.

  • В Windows Server 2016 добавлена роль — контроллер сети (Network Controller). Контроллер сети представляет собой высокодоступный интеллектуальный центр SDN. С его помощью можно управлять изменениями конфигурации и распределять их между хостами, шлюзами и маршрутизаторами Hyper-V. VMM больше не требуется для организации SDN. Контроллер сети значительно упрощает развертывание и эксплуатацию SDN. Эта новая архитектура более стабильна и надежна.
  • Поддержка VXLAN: хотя NVGRE по-прежнему доступен, SDN в Windows Server 2016 по умолчанию использует стандартный протокол VXLAN для трафика виртуальной сети. Это позволяет интегрировать SDN с существующими традиционными сетевыми решениями и другими SDN.
  • Программный балансировщик нагрузки (L4) — встроенное решение для распределения сетевого трафика в масштабе облака. Оно позволяет выполнять балансировку нагрузки любого трафика в виртуальных сетях, поддерживает зонды HTTP/HTTPS и работает аналогично Azure Load Balancer. Это альтернатива технологии Microsoft Network Load Balancing (она представлена в Windows Server 2003) и дорогостоящим балансировщикам нагрузки L4 и L7 сторонних разработчиков. Кроме того, функции NAT перенесены со шлюза нескольких арендаторов на балансировщик нагрузки.
  • Switch Embedded Teaming (SET): технология объединения, встроенная в коммутатор Hyper-V. Это альтернатива технологии Software Network Teaming (представлена в Windows Server 2012). SET добавляет возможности командной работы в сети непосредственно в коммутатор Hyper-V. Теперь не нужно отделять сети RDMA от объединенных сетей, потому что SET поддерживает RDMA. А поскольку SET более тесно работает с гипервизором, можно рассчитывать на повышение производительности.
  • Межсетевой экран ЦОД.
  • VPN site-to-site по протоколу GRE.
  • Оптимизация производительности сети: повышенная производительность сети на интерфейсах 25/50/100GbE с RDMA.

SDN в Windows Server 2016 может работать в двух режимах.

  • SDNv1: решение SDN, что использовалось в Windows Server 2012 R2. Оно позволяет быстро обновить Windows Server 2012 R2 до Windows Server 2016 без изменения сетевой архитектуры. Это решение поддерживает только возможности в обратном порядке и не добавляет ничего.
  • SDNv2: решение SDN по умолчанию, если создается SDN с нуля в Windows Server 2016. Все функции доступны только в SDNv2. Если недавно обновлены хосты Hyper-V 2012/2012R2 до 2016, следующим логичным шагом будет развернуть SDN в режиме SDNv2.


Программно определяемое хранилище (SDS)

Хранилище данных — часть решения IaaS, поскольку виртуальные диски ВМ нужно хранить в надежном месте с необходимым уровнем производительности. Windows Server 2016 поддерживает традиционные системы хранения, подключенные к хостам через Fiber Channel, FCoE или iSCSI. Однако наметилась тенденция перехода заказчиков от сложных и дорогих традиционных СХД на надежные программно определяемые системы хранения (Software-defined Storage или SDS). Такие системы работают на базе недорогого серверного оборудования, управление ими реализуется посредством программного обеспечения. Они позволяют создать высокопроизводительные и отказоустойчивые хранилища, оснащенные функциями по более низкой цене в сравнении с корпоративными системами хранения.

Действующая реализация SDS предлагает возможности:

  • Добавлена функция Storage Spaces Direct (S2D). Она позволяет создавать надежное и высокопроизводительное хранилище на основе локальных дисковых накопителей. Не нужно использовать SAS — только SATA SSD, SATA HDD и NVMe SSD. S2D требует, чтобы одни накопители на каждом хосте были выделены под задачи кэширования (SATA SSD или NVMe SSD), а другие — для хранения данных. S2D поддерживает зеркалирование, четность и технологию erasure coding. Теперь SDN выступает в роли SAN. Нет необходимости покупать дорогие решения FC, FCoE или конфигурировать iSCSI. Чтобы увеличить емкость и производительность, можно добавить хосты с локальными накопителями в кластер. Можно достичь показателя 1 млн IOPS, даже 5 млн IOPS не предел.
  • Дисковые пространства (классические, не S2D) теперь работают эффективно без предварительной настройки.
  • Инструмент Windows Server Health поможет диагностировать неполадки SDS и найти первопричину проблем с производительностью.
  • Storage QoS Policies позволяют администраторам фабрики централизованно управлять правилами QoS для хранилища. Лимиты IOPS переносятся при миграции ВМ на другой хост, и заказчики могут без труда применять эти политики во всей среде частного облака.
  • Storage Replica — встроенное решение репликации хранилища. Оно работает на уровне блоков с использованием протокола SMB. Теперь заказчики могут реплицировать данные хранилища из одного ЦОД в другой. Поддерживаются синхронный и асинхронный режимы репликации. Storage Replica можно использовать для репликации дисков ВМ, как альтернативу механизму Hyper-V Replica, если нужна синхронная репликация ВМ или если нужна асинхронная репликация, но с задержкой в несколько секунд (вместо минут, в случае Hyper-V Replica). Storage Replica поддерживает возможности SMB 3.0, такие как Multi-path, RDMA, автоматическое аварийное переключение и т. д. Storage Replica можно использовать для «растянутых кластеров» (Stretched Clusters), то есть отказоустойчивых кластеров, которые растянуты на несколько площадок.


Гиперконвергентные решения

Гиперконвергентная (Hyper-converged) архитектура — это программно-аппаратный подход, объединяющий вычислительные ресурсы, сетевые ресурсы и ресурсы хранения в один уровень.

Благодаря функциям SDS и SDN с помощью Windows Server 2016 можно создавать гиперконвергентные решения для частного облака:

  • SDN на основе RDMA Ethernet (25/50/100GbE) — со скоростью гораздо выше, чем у традиционных SAN на основе FC/FCoE;
  • система хранения Storage Spaces Direct (S2D) на основе локальных дисков SATA.


Windows Server 2016 на гостевой ВМ

Nano Server — дополнительный тип установки Windows Server 2016. Nano Server не имеет графического пользовательского интерфейса — он управляется дистанционно.

Эта версия Windows Server 2016 быстрее устанавливается, выполняет меньше фоновых процессов, требует меньше обновлений и т. д. Nano Server в Windows Server 2016 подходит для сценариев:

  • хост Hyper-V;
  • сервер для запуска контейнеров;
  • Scale-out File Server;
  • веб-сервер IIS;
  • платформа приложений для микросервисов.

Чем меньше выполняемых процессов, тем меньше возможностей для атаки и меньше уязвимостей в системе безопасности ОС.


Контейнеры

Windows Server 2016 поддерживает технологию контейнеров на платформе системы управления контейнерами [[ Docker Платформа распределённых приложений|Docker]].

В Windows Server 2016 доступны два типа контейнеров:

  • контейнеры Windows Server;
  • контейнеры Hyper-V.

Контейнеры Windows Server аналогичны контейнерам Linux. Они изолируют друг от друга приложения, выполняемые на одном хосте. Каждый контейнер обладает собственным представлением системы хоста, включая ядро, процессы, файловую систему, реестр и другие компоненты. Контейнеры Windows Server поддерживают режим пользователя и режим ядра.

Контейнеры Hyper-V основаны на той технологии контейнеров, но дополнительно используют мехинизму гипервизора для создания дополнительного слоя изоляции. Виртуализация создает в Контейнерах Hyper-V полностью изолированную среду для выполнения приложений.

Поверх Контейнеров Windows Server и Контейнеров Hyper-V выполняется модуль платформы Docker. Он предоставляет все средства, необходимые для разработки и выполнения данного модуля поверх контейнеров Windows любого типа. Поэтому приложение, разработанное в контейнере, можно запустить где угодно.

К выполняемому контейнеру можно подключиться через командную строку, однако идеологически они создавались для работы stateless-сервисов. В контейнерах не предусмотрен пользовательский интерфейс.


Безопасность

Windows Server 2016 предлагает множество функций обеспечения безопасности.

  • Control Flow Guard — оптимизированная функция защиты платформы.
  • Device Guard — если активирован, позволяет выполнять только централизованно авторизованные приложения. Эта технология не позволяет драйверам загружать динамический код и блокирует любой драйвер, который отсутствует в списке безопасных программ. На компьютере, защищенном с помощью Device Guard, невозможно запустить подозрительный драйвер, который пытается изменить код in-memory. Device Guard поддерживает защиту в режиме пользователя (UMCI), позволяя создавать политики целостности кода (CI) для настройки доверенных и авторизованных компонентов, которые разрешено выполнять на отдельных серверах.
  • Credential Guard — технология изоляции, основанная на виртуализации, которая позволяет только привилегированным системам получить доступ к конфиденциальным данным. Credential Guard блокирует технологии кражи учетных данных и средства, которые часто используются для атаки. Благодаря ему вредоносное ПО с правами администратора не сможет извлечь из ОС конфиденциальную информацию.
  • Remote Credential Guard — предотвращает кражу учетных данных, когда конечный пользователь дистанционно подключается к системе с помощью сеанса удаленного рабочего стола (RDP). Если пользователь пытается дистанционно подключиться к рабочему столу на удаленном хосте, на исходный хост передается запрос Kerberos на проверку подлинности. В этом случае учетные данные просто не передаются на удаленный хост, и вредоносный код, который выполняется на этом хосте, не может их получить.
  • Вместе с Windows Server 2016 на компьютер по умолчанию устанавливается модуль защиты от вредоносного ПО «Защитник Windows».
  • AD FS в Windows Server 2016 содержит встроенный адаптер Azure MFA, который упрощает использование технологии Azure Multi-factor Authentication. Чтобы добавить эту технологию в систему проверки подлинности ADFS, не нужно разворачивать локальный сервер Azure MFA.
  • Just-in-Time (JIT) Administration — функция, которая позволяет ограничить время действия прав администратора. Запрос прав будет отправлен именно тогда, когда они понадобятся. Затем этот запрос будет одобрен, и учетная запись получит нужные ей права на указанный период времени. Предоставленных прав и времени их действия будет ровно столько, сколько необходимо для выполнения поставленной задачи.
  • Just Enough Administration (JEA) — функция, которая позволяет предоставить учетной записи пользователя необходимый минимум прав для выполнения той или иной функции. Благодаря ей вам не придется самостоятельно предоставлять и отменять права администратора. Функцию JEA часто используют в сочетании с JIT.

Windows Server 2016, (2017)


RDS 2016

Службы удаленных рабочих столов в Windows Server 2016.

  • Connection Broker теперь поддерживает большое количество подключений конечных пользователей. RDS 2016 может одновременно обработать несколько тысяч подключений.
  • RemoteFX теперь поддерживает Windows Server 2016 внутри гостевых ВМ. Ранее эта технология работала только с клиентской ОС Windows.
  • RemoteFX теперь поддерживает OpenGL и OpenCL в дополнение к Direct3D, а еще до 1 Гбайт видеопамяти, разрешение 4K и работу с пером. Благодаря этому пользователи могут еще эффективнее использовать графические ресурсы оборудования.
  • Поддержка Direct Device Assignment (DDA) — теперь графический процессор можно полностью прокинуть внутрь ВМ. Благодаря этому пользователи гостевых ВМ получают доступ к управлению драйверам видеокарты и настройкам графического процессора, а также к технологиям параллельных вычислений вроде CUDA.
  • Протокол RDPv10 с технологией сжатия данных H.264 AVC гарантирует высокое качество графики (4K, 60 кадров в секунду) даже при нестабильном подключении к сети.
  • Connection Broker может использовать Azure SQL Database в качестве базы. Azure AD Application Proxy позволяет безопасно публиковать ферму RDS во внешнюю сеть.
  • Remote Credential Guard — предотвращает кражу учетных данных, когда конечный пользователь дистанционно подключается к системе с помощью сеанса удаленного рабочего стола (RDP).


PowerShell 5.1

Windows PowerShell — основная система управления технологиями Microsoft с помощью командной строки. Исходный код Windows PowerShell открыт. Реализована поддержка Linux. Теперь для управления окружением Linux можно использовать принципы Windows.

SMT Средства управления серверами (SMT) — это оболочка для управления с веб-интерфейсом, размещенная в Azure. С ее помощью можно управлять, например, развернутыми Nano Server или Server Core, не подключаясь к ним локально. Эти средства предлагают функционал:

  • просмотр и изменение конфигурации системы;
  • просмотр данных о производительности различных ресурсов, а также управление процессами и сервисами;
  • управление устройствами, подключенными к серверу;
  • просмотр журналов событий;
  • просмотр списка установленных ролей и функций;
  • управление повторяющимися задачами и автоматизация их выполнения с помощью консоли Windows PowerShell.

SMT — средство управления средами Windows Server 2016 и альтернатива классическому Server Manager.


System Center 2016

System Center 2016 может управлять функциями Windows Server 2016 — например, с помощью VMM 2016 проще всего развернуть SDN. Поскольку версия System Center 2012 R2 несовместима с Windows Server 2016, предполагается, что для управления Windows Server 2016 будет проведено обновление до System Center 2016. А Windows Azure Pack UR10 (и поздние выпуски) поддерживает Windows Server 2016.

Разработка версии для ARM-процессоров

8 марта 2017 года корпорация Microsoft анонсировала версию операционной системы Windows Server для оборудования на процессорах с архитектурой ARM. Новый проект может поставить под угрозу многолетнее доминирование Intel на прибыльном рынке чипов для дата-центров, передает агентство Bloomberg.

Новая модификация Windows Server тестируется на серверах под управлением 10-нм чипов Qualcomm Centriq 2400, включающих 48 ядер Falkor на базе ARMv8 и предназначенных в первую очередь для работы облачных сервисов, таких как Azure. Компания Microsoft испытывает такие процессоры для решения задач в области поиска, хранения данных, машинного обучения и работы с большими данными, рассказал корпоративный вице-президент Microsoft Azure Джейсон Зендер (Jason Zander).

Серверный модуль на платформе Qualcomm Centriq 2400

Microsoft развивает платформу Project Olympus, поддерживающую установку серверов формата 1U и 2U, универсальной материнской платы, источников питания и до восьми ускорителей вычислений Nvidia на базе графических решений поколения Pascal. Компания планирует строить Project Olympus на процессорах ARM и использовать такие серверы в своих дата-центрах, начиная с 2017 года.

В будущем подобные решение смогут устанавливать и другие компании благодаря открытому подходу (Open Source) в реализации проекта, в котором также участвуют Qualcomm, Dell, Hewlett Packard Enterprise, AMD, Samsung Electronics и Intel.

В финансовом отчете за 2016 год Intel говорила, что процессоры компании используются в серверном оборудовании, на котором функционируют 98% облачных сервисов в мире.

«
Мы работаем на высококонкурентном рынке и серьезно относимся ко всем соперникам. Мы уверены в том, что процессоры Xeon по-прежнему будут обеспечивать наивысшую производительность и самую низкую стоимость владения для наших облачных клиентов. Однако мы понимаем стремление наших заказчиков оценивать другие предложения, — заявили в Intel.[4]
»

Включена поддержка SUSE Linux

25 января 2017 года в составе последнего варианта предварительной технологической версии SQL Server vNext, Community Technology Preview, вошла поддержка ОС SUSE Linux Enterprise Server в дополнение к Linux-дистрибутивам от Canonical и Red Hat.

В 2016 году компания сообщила - SQL поворачивается лицом к Linux [5].

«
Благодаря этому SQL Server станет единообразной платформой данных для Windows Server и Linux — как для локальных инсталляций, так и для облака.

Скотт Гатри, глава подразделения Microsoft Cloud and Enterprise
»

Согласно заявлению компании, выпуск SQL Server vNext запланирован на середину 2017 года. Потенциальные пользователи могут протестировать работу Linux-версии CTP 1.2 этой СУБД на серверах SUSE (Windows-версия имеется в наличии). На 25 января 2017 года можно попробовать предварительную версию в средах разработки и тестирования или подать заявку на присоединение к программе SQL Server Early Adoption Program для получения поддержки при развертывании SQL Server vNext в продуктивных условиях.

2016

Появление в публичном доступе

12 октября 2016 года в публичном доступе появилась операционная система Windows Server 2016. Версию RTM (Release to Manufacturing) можно скачать через сервисы Microsoft Developer Network (MSDN) и Volume Licensing Service Center (VLSC).

Кроме того, доступна ознакомительная версия для тех, кто хочет опробовать возможности продукта перед его покупкой. Пробный вариант рассчитан на 180 дней тестирования.

RTM-версия Windows Server 2016 появилась в публичном доступе 12 октября 2016 года

Windows Server 2016 имеет несколько версий: Standard, Essentials, MultiPoint Premium Server, Storage Server, Hyper-V Server и Datacenter. Последняя отличается дополнительными функциями репликации, новым сетевым протоколом с расширенными возможностями виртуализации и технологией создания закрытых виртуальных машин, чей контент защищен от администратора хост-системы.

В целом Windows Server 2016 по сравнению с предшествующими серверными ОС Microsoft стала более безопасной, получила расширенные механизмы защиты, новую функциональность для блокировки потенциальных угроз и улучшенные возможности управления. Также новая ОС оптимизирована для облачных сервисов и контейнеров.

«
Этот релиз лишь раз отражает нашу глубокую приверженность гибридному облаку. Еще давно мы начали считать реальной действительностью гибридное облако для всех наших корпоративных клиентов, даже для тех, у кого есть самые амбициозные облачные планы. Некоторые приложения должны и будут быстро мигрировать в публичное облако, тогда как другие столкнутся с технологическими и нормативными барьерами. Вне зависимости от того, где эти приложения работают сейчас или будут запущены в будущем, Windows Server 2016 предлагает богатую и безопасную платформу, — говорится в заявлении Microsoft.
»

Одновременно с Windows Server 2016 было выпущено решение System Center 2016, которое упрощает управление программно-определяемыми дата-центрами и облаком. [6]

Remote Credential Guard

19 августа 2016 года в блоге TechNet опубликованы сведения о функции Remote Credential Guard, что помогает предотвратить кражу учетных данных на Windows 10 / Windows Server 2016, когда пользователи выполняют вход на ПК.

Готовится выход Windows Server 2016 Technical Preview 5 и, предвкушая событие, вендор решил повысить защиту учетных данных для Server- и Helpdesk-сценариев, где к удаленному рабочему столу (RDP) используется удаленный вход на ПК.

Компания создала функцию Remote Credential Guard. Она действует в Windows RS1 и Windows Server 2016.

Представление функции Remote Credential Guard, (2016)


Remote Credential Guard (RCG) хранит учетные данные на клиентской машине и когда пользователь выполняет вход к удаленному рабочему столу на целевой машине (сервер или клиент), данные не будут доступны на целевой машине, поэтому не могут быть украдены.

В качестве побочного эффекта, который Microsoft расценила как положительный, Remote Credential Guard реализует процедуру Single Sign On для RDP - у пользователя при этом нет нужды вводить пару логин/пароль в RDP-сессии, а можно применить учетные данные, используемые для входа на клиентскую машину (будь то смарт-карты или Windows Hello)

Управление IP-адресами (IPAM)

Управление IP-адресами (или IPAM для краткости) представляет собой интегрированный набор инструментов, позволяющих управлять IP-пространством, управлять несколькими серверами DNS и DHCP, проводить аудит на соответствие требованиям DDI (DNS, DHCP, IPAM) [7].

После того, как IMAP ввели в Windows Server 2012, он претерпел обновление и уже в Windows Server 2012 R2 имел широкие возможности:

  • управление доступом на основе ролей,
  • управление DHCP Failover и политиками DHCP,
  • PowerShell командлетами и интеграцией с Virtual Machine Manager для частных облачных сред.

IPAM в Windows Server 2016 усовершенствован для поддержки критически важных возможностей:

  • управление DNS,
  • поддержка нескольких лесов AD
  • многое другое.


Техническое резюме модификаций 2016 года Управление DNS Возможность управлять DNS-зонами и записями ресурсов на нескольких DNS-серверах является критически важным требованием для предприятий. IPAM в Windows Server 2016 теперь может выполнять все задачами управления DNS, для которых пользователь ранее должен был использовать DNS Manager. Управление DNS, доступное в IPAM:

  • Создание, удаление, изменение DNS-зоны (прямой поиск и зоны обратного просмотра)
  • Создание, удаление, изменение записей DNS ресурсов (A, AAAA, CNAME, PTR, MX, а также другие типы записей поддерживаемые DNS в Windows Server)
  • Создание, удаление, изменение условных пересылок
  • Настройка политики передачи зон и инициирование передачи зоны

Эти операции поддерживаются, как Active Directory, интегрированным с DNS, так и DNS-серверами, которые хранят зоны и записи в файле. Зона DNS, как правило, размещается на более чем одном DNS-сервере по причинам высокой доступности. При выполнении таких операций, как создание или изменение DNS-записи в зоне IPAM выполняет операцию на одном из DNS-серверов зоны. Механизм синхронизации зоны гарантирует, что вновь созданная или обновленная DNS-запись в настоящее время существует на всех серверах хостинга зоны. IPAM обеспечивает установку под названием «предпочтительный сервер» для зоны. Любая операция обновления на определенной зоне будет осуществляться IPAM на предпочитаемом сервере, который затем получает обновление и реплицируется на другие DNS-серверы.


Интеграция данных DNS с IP-адресами

IPAM ведет учет IP-адресов в базе данных IPAM. В интерфейсе IPAM этот инвентарь можно рассматривать в рамках управления пространством IP-адресов. Перечень должен быть занесен вручную или импортирован с помощью файла CSV. В Windows Server 2016 IPAM будет считывать DNS записи из DNS-серверов — в том числе PTR-записи. PTR-записи используются IPAM для заполнения IP-адресов и их инвентаризации. Эта новая возможность обеспечивает автоматизированную инвентаризацию IP-адресов. Теперь администраторы не будут больше вручную обновлять IP-адреса или импортировать CSV-файлы, если существуют зоны обратного просмотра с PTR-записями.

Другой важной возможностью является вкладка для DNS-записей, которая перечисляет все DNS-записи, связанные с этим IP-адресом — включая AAAA, PTR, CNAME, MX, NS и другие записи. Это очень полезно, когда используются CNAME, MX и другие типы записей, имеющие косвенное отношение к IP-адресу.


Управление доступом для управления DNS посредством ролевой политики

Контроль доступа на основе ролей впервые ввели в IPAM Windows Server 2012 R2. Это требовалось для поддержки сценариев делегирования и администрирования DNS. Администратор должен иметь возможность делегировать управление определенной зоной для удаленного администратора при этом убедившись, что он/она не имеет доступа к другим зонам и серверам DNS. Аналогичным образом почтовый администратор должен иметь возможность управлять только MX-записями. С IPAM 2016 клиенты могут выполнять такие сценарии делегирования и дать тот доступ, который необходим пользователю с определенной ролью.


Управление DNS и DHCP серверов в нескольких лесах Active Directory

IPAM в Windows Server 2012 R2 поддерживает управление DNS и DHCP серверами в одном лесу Active Directory — это лес, в котором развернут IPAM. Тем не менее многие корпоративные клиенты имеют более одного леса Active Directory в своей среде, а также DNS и DHCP серверы во всех многочисленных лесах AD. Они хотели, чтобы IPAM для Windows Server поддерживал и управлял DNS и DHCP-серверами в нескольких лесах AD с одной консоли IPAM. В Windows Server 2016 это реализовано.

Представление управления IPAM, (2016)


PowerShell в управлении доступом посредством ролей

IPAM 2016 имеет новые командлеты PowerShell, что позволяет администраторам установить сферу доступа к объектам IPAM. Администраторы могут устанавливать области доступа для IP-адресов (IP-пространство, IP-адреса блоков, IP-адрес подсети, диапазоны IP-адресов), для DNS-объектов (DNS-серверы, DNS-зоны, DNS условные форвардеры, записи DNS-ресурсов) и для объектов DHCP (DHCP-серверы , DHCP-суперобласти и сферы действия DHCP). Это позволит администраторам автоматизировать назначение областей доступа к объектам IPAN с помощью сценариев PowerShell.

Виртуализация сети с помощью Windows Server 2016

Подобно тому, как серверное оборудование виртуализируется с помощью программного обеспечения, чтобы имитировать процессоры, память и диски для создания виртуальных машин, сетевые аппаратные средства также виртуализированы, чтобы имитировать коммутаторы, маршрутизаторы, межсетевые экраны, шлюзы и балансировки нагрузки для создания виртуальных сетей. Мало того, что виртуальные сети обеспечивают изоляцию между рабочими нагрузками или бизнес-подразделенями, но они также позволяют сетевым администраторам конфигурировать сети и определять политику, сохраняя при этом гибкость, указывая, где рабочие нагрузки развернуты и как применяется политика[8].

Основные характеристики и преимущества Hyper-V Network Virtualization позволяют виртуализировать топологию базовой физической сети.

Какая от этого польза?

  • Есть возможность добавить или удалить политику безопасности по требованию через Network Security Groups, чтобы она применилась непосредственно к виртуальным подсетям или отдельным виртуальным сетевым адаптерам.
  • Масштабируемость для увеличения пропускной способности ваших рабочих нагрузок за счет расширения вашей виртуальной сети и подключения их к Azure.
  • Гибкость в перемещении виртуальных подсетей и соответствующих рабочих нагрузок между облаками.

Конкретные функции включают в себя способность:

  • Изолировать различные центры обработки данных, различные отделы или подразделения в рамках предприятия или даже различные услуги и рабочие нагрузки в рамках уникальных виртуальных сетей.
  • Интеграция со всеми соответствующими сетевыми функциями и политиками, например, обеспечение балансировки нагрузки, качество обслуживания и т.д.
  • Поддержка VXLAN (по умолчанию) или NVGRE.
  • Возможности сделать свои собственные подсети IPv4 и маршруты из вашей физической сети в облако.

Все эти сетевые политики могут быть легко развернуты с применением шаблонов System Center Virtual Machine Manager (SCVMM), Microsoft Azure Stack или сценариев PowerShell.


Почему бы просто не использовать VLAN?

Использование виртуальных локальных сетей для обеспечения изоляции или безопасности может быть достаточно для SMB сред, где скорость изменения низка. Тем не менее, такая модель просто не укладывается на крупных предприятиях и современных центрах обработки данных, так как они зависят от статических конфигураций. Любые обновления требуют ручного изменения конфигурации на нескольких устройствах (например: серверы, коммутаторы). По мере того как размер вашего предприятия или центра обработки данных растет, она становится все более громоздкой, чтобы управлять всеми различными сетями VLAN и политиками безопасности для каждого логического сегмента сети. Ручное обновление конфигурации коммутатора и перемещение политик часто порождают ошибки и неизбежно обеспечивают простой сети.

Иногда может возникнуть необходимость подключать физические нагрузки, которые не могут быть виртуализированы. В этих случаях для маршрутизации пакетов между виртуальными и физическими сетями используются шлюзы виртуализации, обеспечивающие доступ к вашей рабочей нагрузке.

Улучшения по сравнению с стеком виртуализации сети в Windows Server 2012 R2

Мы получили много пожеланий через обратную связь с клиентами, которые помогли нам улучшить данное решение в Windows Server 2016. Эти улучшения включают в себя:

  • Программируемый vSwitch на основе нового расширения Azure Virtual Filtering Platform (VFP), обеспечивающего более эффективную обработку трафика.
  • Уменьшение количества физических адресов IP (2x на хост), необходимых для размещения виртуальных сетей и инкапсуляции трафика.
  • Реализация корректных Layer 2 Ethernet заголовков для улучшенной совместимости.
  • Улучшенный поиск и устранение неисправностей с помощью расширенных диагностических скриптов.
  • Распределенный маршрутизатор с поддержкой определенных пользователем маршрутов.
  • Добавление поддержки механизма инкапсуляции VXLAN.

Технология виртуализации сети в Windows Server 2012 R2 (HNVv1 с NVGRE) также поддерживается и в Windows Server 2016, что позволяет без проблем мигрировать на новую операционную систему. Тем не менее, вдохновленные Azure, мы предлагаем нашим клиентам.

2015

Новая схема лицензирования

В декабре 2015 года Microsoft сообщила об изменении схемы лицензирования своих серверных операционных систем. Начиная с Windows Server 2016, компании будут покупать лицензии исходя из количества вычислительных ядер.

До Windows Server 2016 стоимость серверных платформ Microsoft зависела от числа процессорных сокетов в системе. Одна лицензия Windows Server 2012 распространяется на одну пару гнезд: даже если в сервере используется один чип, компаниям приходится покупать минимальный пакет из двух лицензий.

Microsoft переходит на более дорогую схему лицензирования Windows Server

В 2016 году Microsoft перейдет на новую модель продаж, в рамках которой одна лицензия на Windows Server 2016 будет действовать для двух вычислительных ядер. Ее стоимость составит всего 1/8 от цены лицензии Windows Server 2012 на два сокета, однако минимальное требование новой серверной платформы предполагает, что каждая система должна содержать по меньшей мере 16 ядер, а каждый процессор – минимум восемь ядер.

Как отмечают обозреватели Neowin, для пользователей серверов начального уровня расходы на Windows Server 2016 в рамках новой схемы лицензирования вряд ли изменятся. Зато могут пострадать владельцы высокопроизводительных решений: при наличии мощных серверов с двумя-четырьмя 10-ядерными процессорами, Windows Server 2016 обойдется на четверть дороже по сравнению с предыдущей версией ОС, подсчитали в издании. [9]

Microsoft по традиции не раскрывает расценки на свои новые операционные системы задолго до их релиза. Так что стоимость лицензий на Windows Server 2016 будет известна ближе к третьему кварталу 2016 года, когда этот продукт выйдет на массовый рынок.

Апдейт технической версии Windows Server 2016

8 декабря 2015 года компания Microsoft сообщила о выпуске четвертой версии платформы Windows Server, в рамках которой пользователям предлагается модернизированный функционал для разработки приложений на осное технологий контейнеризации Windows Server и Hyper-V, облегченный вариант установки серверной ОС Nano Server, дополнительные возможности программно-определяемых ЦОД.

Расширены возможности конфигурации, отказоустойчивость и функциональность вычисления и хранения данных. Появились функции для обеспечения безопасности информации, управления платформой и мониторинга.

Скриншот окна программы управления (2015)

Андрей Бешков, менеджер по продвижению гибридной облачной платформы Microsoft в России, сказал:

- Недавно мы представили контейнеры Windows Server и контейнеризацию приложений Docker для Windows. С тех пор мы получили много отзывов наших клиентов, которые позволили нам существенно усовершенствовать решение. Отвечая потребностям пользователей, сегодня мы представляем контейнеры с целым рядом новых функций. Мы надеемся, что эти улучшения предоставят разработчикам дополнительные преимущества и сделают открытую и удобную платформу разработки Microsoft еще более надежной и безопасной.

По мнению компании, обновление контейнеров Hyper-V даст клиентам возможности для изоляции приложений, что повысит уровень безопасности данных. При этом, поддерживая механизм разработки Docker, они сохранят привычный для Windows Server формат и не повлияют на визуализацию и конфигурацию приложений. Кроме того, теперь разработчики смогут использовать Nano Server, как в качестве платформы для запуска приложений и сервисов, так и как операционную систему для виртуализованных контейнеров. Это обеспечит более эффективную работу с облачными приложениями, так как уменьшит место, занимаемое ОС, и увеличит плотность размещения систем в облачных средах. Снижение количества компонентов в Nano Server повысит безопасность, сократит число обновлений и уменьшит окно обслуживания систем.

Что нового в Windows Server 2016

Примечания



ПРОЕКТЫ (32) ИНТЕГРАТОРЫ (14) СМ. ТАКЖЕ (107)
ОТРАСЛИ (9) ГЕОГРАФИЯ

ЗаказчикИнтеграторГодПроект
- Аэрофлот
Wone IT (Ван Ай Ти Трейд, ранее SoftwareONE Россия, СофтвэрУАН и Awara IT Russia, Авара Ай Ти Солюшенс)2021.04Описание проекта
- Поставщик коммерческой информации (ПКИ)
Прима Айти2020.12Описание проекта
- ВЭБ.РФ (ранее Внешэкономбанк)
Softline (Софтлайн)2020.12Описание проекта
- Трансконтейнер, ПАО
Softline (Софтлайн)2020.11Описание проекта
- Почта Банк (ранее Лето Банк)
Айтеко (Ай-Теко, iTeco)2019.12Описание проекта
- Всероссийская государственная телевизионная и радиовещательная компания (ВГТРК)
Wone IT (Ван Ай Ти Трейд, ранее SoftwareONE Россия, СофтвэрУАН и Awara IT Russia, Авара Ай Ти Солюшенс)2019.12Описание проекта
- Мосгоргеотрест (МГГТ) Московский городской трест геолого-геодезических и картографических работ ГБУ
Крок2019.06Описание проекта
- ОГК-2
АНТ-Сервис2019.03Описание проекта
- Судостроительный комплекс Звезда
Softline (Софтлайн)2018.12Описание проекта
- Мосводоканал АО
Айтеко (Ай-Теко, iTeco)2018.11Описание проекта
- Фонд социального страхования РФ (ФСС РФ)
Альянс Консалтинг (АКИГ)2017.07Описание проекта
- ТКБ БНП Париба Инвестмент Партнерс
Инфосистемы Джет2017.05Описание проекта
- Domino`s Pizza (Пицца Ресторантс)
Softline (Софтлайн)2016.06Описание проекта
- Департамент информационных технологий Москвы (ДИТ)
Softline (Софтлайн)---Описание проекта
- Федеральный фонд ОМС (ФФОМС, Федеральный фонд обязательного медицинского страхования)
Без привлечения консультанта или нет данных---Описание проекта
- Налог-сервис ФКУ ФНС России
Софтконсалт (Softconsult)---Описание проекта
- Государственная корпорация по организации воздушного движения в РФ (Госкорпорация по ОрВД, ФГУП)
Wone IT (Ван Ай Ти Трейд, ранее SoftwareONE Россия, СофтвэрУАН и Awara IT Russia, Авара Ай Ти Солюшенс)---Описание проекта
- Спецсвязь ФСО - Служба специальной связи и информации Федеральной службы охраны России (ФГУП ГЦСС, Главный Центр Специальной Связи)
Softline (Софтлайн)---Описание проекта
- Центральный институт авиационного моторостроения ЦИАМ имени П.И. Баранова
Южная софтверная компания (ЮСК), МойОфис (ООО Новые облачные технологии)---Описание проекта
- Главное управление государственной экспертизы (Главгосэкспертиза России ФАУ)
Wone IT (Ван Ай Ти Трейд, ранее SoftwareONE Россия, СофтвэрУАН и Awara IT Russia, Авара Ай Ти Солюшенс)---Описание проекта
- ТНС энерго
Softline (Софтлайн)---Описание проекта
- Российские железные дороги (РЖД)
Softline (Софтлайн)---Описание проекта
- Росводоканал ГК
Softkey (Софткей), Когорта (ранее Legal Softwave, Лигал Софтвэйв) Kogorta---Описание проекта
- Кристалл Производственное объединение
Softline (Софтлайн)---Описание проекта
- Оборонэнерго
Softline (Софтлайн)---Описание проекта
- ЮMoney (НКО ЮМани, ранее Яндекс.Деньги)
Wone IT (Ван Ай Ти Трейд, ранее SoftwareONE Россия, СофтвэрУАН и Awara IT Russia, Авара Ай Ти Солюшенс)---Описание проекта
- Севмаш
Softline (Софтлайн)---Описание проекта
- Крайинвестбанк (Краснодарский краевой инвестиционный банк)
Softline (Софтлайн)---Описание проекта
- Ленинградская областная управляющая электросетевая компания - ЛОЭСК
Softline (Софтлайн)---Описание проекта
- Аэропорт Шереметьево (МАШ)
Wone IT (Ван Ай Ти Трейд, ранее SoftwareONE Россия, СофтвэрУАН и Awara IT Russia, Авара Ай Ти Солюшенс)---Описание проекта

<< < 1 2 > >>