Switch

[4543]

Добрый день.

Ситуация следующая:

Ранее Switch 100 Мбит был подключен к серверу и через него работала вся сеть, в которую входили и рабочие станции и другие свичи.

Купил Гигабитный коммутатор (поставил к серверу), но прироста скорости это недало. Исходящий поток с сервера не превышает 10% на Гигабитном = 100% на 100 Мбит.

На сервере Гигабитная сетевуха, остальная сеть разносольная в которую входят и Гигабитные свичи, гигабитные сетевухи, Свичи на 100 Мбит и такие же сетевухи. Подключены совершенно в хаотичном порядке.

 

Проверял на рабочей станции с гигабитной сетевухой, на пути все свичи гигабитные, скорость выше 100 Мбит не поднялась(((

 

 

1) Вопрос, как увеличить КПД сети и догнать ее до 90% на сервере?

2) Может быть такое, что если в сеть из машин с гигабитными сетевухами и таким же свичем подключена одна машина 100Мбит или еще один свич 100 Мбит, то скорость всей сети (при обмене между произвольно взятыми машинами) не будет превышать 100Мбит?

 

ЗЫ Модераторы, переименуйте пожалуйста тему на Switch

Изменено 17 июля, 2012 пользователем 4543

[mvs]

а что за свитчи то? может процы у них слабые и нагрузка хорошая? сеть большая? может много бродкастов гуляет и пора организовывать vlan-ы?

0) что за кабели используются? какой категории? оптика? одно-много модовая? какой длинны кабели на участках? (если это UTP)

1) мониторить свитчи или по SNMP или другими методами (просто просматривая логи например через web интерфейс)

2) проверить в каком режиме сетевухи работают (авто, 100/10 и т.д.), нет ли ограничений на портах свитчей (может порты работают в режиме 100мбит)

Изменено 17 июля, 2012 пользователем mvs

[4543]

а что за свитчи то? может процы у них слабые и нагрузка хорошая? сеть большая? может много бродкастов гуляет и пора организовывать vlan-ы?

0) что за кабели используются? какой категории? оптика? одно-много модовая? какой длинны кабели на участках? (если это UTP)

1) мониторить свитчи или по SNMP или другими методами (просто просматривая логи например через web интерфейс)

2) проверить в каком режиме сетевухи работают (авто, 100/10 и т.д.), нет ли ограничений на портах свитчей (может порты работают в режиме 100мбит)

 

Дешевенькие. tp-link tl-sg1008d.Порядка 40 машин.

0) Витая пара вроде 8 жильная.

1) Что-то мне подсказывает, интерфейса у этих свичей нет.

2) Сетевухи вроде в авто работают. Когда свич 100 то и диспечерез задач 100. Когда гигабитный подключаю, в диспечере макс. скорость то же до гигабита поднимается.

Как у tp-link tl-sg1008d ограниченя можно посмотркть?))))

Изменено 17 июля, 2012 пользователем 4543

[пользователь]

1) Вопрос, как увеличить КПД сети и догнать ее до 90% на сервере?

Скорее всего - никак

Сомневаюсь, что сервер какчественный. Думаю, что сервер такую скорость просто не вытянет.

Изменено 17 июля, 2012 пользователем пользователь

[Kapral]

Топология сети как я понимаю такая?

(Сервер)-(1000Хаб)-(много-много устройств)?

а было

(Сервер)-(100Хаб)-(много-много устройств)?

Так?

или серверный хаб имел порт, который смотрит в сторону сервера Гигабит?

 

Какие задачи крутятся на сервере - как скорость замерялась?

[4543]

1) Топология сети как я понимаю такая?

(Сервер)-(1000Хаб)-(много-много устройств)?

а было

(Сервер)-(100Хаб)-(много-много устройств)?

Так?

2) или серверный хаб имел порт, который смотрит в сторону сервера Гигабит?

 

3) Какие задачи крутятся на сервере - как скорость замерялась?

1) Правильно

2) Не совсем понял что имете в виду. Вроде все порты одинаковые, без приоритета и разделения скоростей.

3) Файловый сервер, к которому постоянно обращается раличное ПО.

Скорость замерял на рабочих станциях самым тупым способом Alt+Ctrl+Del -> Сеть.

На сервере при помощи системного монитора смотрел исходящий и входящий трафик.

Изменено 17 июля, 2012 пользователем 4543

[Kapral]

Какая скорость обмена?

[4543]

Какая скорость обмена?

Между чем и чем?

 

Сервер-клиент по разному, в зависимости от загруженности сети, но не более 100 Мбит\сек.

Исходящий трафик сервера не более 100 Мбит\сек.

При том какой свич - не важно.

На гигабитнм загруженность сети на сервере 9-10%, на 100Мбит 90-100%. Редко до 25 проскальзывает.

 

------ 5 мин. спустя

 

Iperf показывает среднюю скорость 200 Мбит\сек.

Когда кидаю файл В общую папку, то скорость может достигать 500Мбит\сек.

Изменено 17 июля, 2012 пользователем 4543

[Kapral]

Между чем и чем?

Там, где должен был быть прирост скорости

 

Когда кидаю файл В общую папку, то скорость может достигать 500Мбит\сек.

Правильно - прирост есть ))

 

 

Вообще сама постановка вопроса не ясна

 

Берем идеальный вариант

 

1. Было: Сервер (1 Гб/с) + свитч (100 Мб/с) + комп (1 Гб/с) - скорость обмена (максимальная) - 100 Мб/с

2. стало: Сервер (1 Гб/с) + свитч (1 Гб/с) + комп (1 Гб/с) - скорость обмена (максимальная) - 1 Гб/с

Но - дальше зависит от разных вариантов

а. - 1 файл - передается с (почти) максимальной скоростью,

б. куча мелких - из дергания головки винта от данных к оглавлению - скорость падает

в. куча больших, особенно записанных без дефрагментации и которые пишутся без дефрагментации - скорость выше

г. если есть несколько рабочих станций работающих одновременно - то скорость распределяется не равномерно

д. всякий прикладной софт (БД и т.д.) - увеличение скорости сети в 10 раз не ведет к увеличению скорости обмена в 10 раз

е. Возможно становится узким канал сервер - серверный хаб

ж. т.к. висит много рабочих станций - то головка винта начинает суматошно двигаться по поверхности и максимальная скорость не достижима - т.к. узкое место - жесткий диск сервера

 

В общем т.к. пиковая скорость достигается

Когда кидаю файл В общую папку, то скорость может достигать 500Мбит\сек.

То явно узкое место в другом

А. Либо жесткие диски сервера

Б. Либо боьшое количество одновременно работающих клиентов

В. либо А. и Б. вместе (99%)

[4543]

А. Либо жесткие диски сервера

Б. Либо боьшое количество одновременно работающих клиентов

В. либо А. и Б. вместе (99%)

 

Угу, ок, что бы снизить нагрузку на сервер, мы его дефрагментируем.

1) А что можно сделать, что бы нормально распределить нагрузку? У меня постоянно все в сети и активно работают....

1.2)По какому принципу она распределяется?

3) Какую топологию сети лучше использовать?

Изменено 18 июля, 2012 пользователем 4543

[Kapral]

3. Вариант 2 - лучше. Т.к. в первом варианте - левый верхний угол будет страдать от недостатка полосы пропускания, особенно если верхний правый активен

1. Для начала найти узкое место.

2. если хабы простые - то всем поровну

[4543]

1. Для начала найти узкое место.

У меня пока RAID массива нету, только планирую сделать.

Получается что самое узкое хард на сервере.

 

Когда работники на обеде, сеть летает до 250 - 500Мбит\сек. Когда все работают, выше 100 не поднимается. Что посоветуешь?)

Изменено 18 июля, 2012 пользователем 4543

[Kapral]

Когда работники на обеде, сеть летает до 250 - 500Мбит\сек. Когда все работают, выше 100 не поднимается. Что посоветуешь?)

Подмешать пурген в кофе - работники будут отсутствовать долго

 

А без шуток - кого напрягает такая скорость - тебя или босса или сотрудников

Какие винты на серваке SATA2, SATA3, SAS, SCSI

 

Сколько юзеров в конторе?

[Zaitsev Oleg]

Подмешать пурген в кофе - работники будут отсутствовать долго

Не эффективно - срабатывает не более 2-3 раз, потом перестают кофе пить ...

Я бы для начала:

1. промониторил бы сетевой трафик. Ибо:

- если никого не гонять, то на каждом 2-м ПК будет открыто по сетевой шаре, а там куча кино и музыки. 2-3 любителя поделиться кинофильмами могут прилично "просадить" сеть. Действия - коль есть файловый сервер, издать указ и позакрывать все шары в принудительном порядке. Тем, кто будет сопротивляться - выговорешник, и попутно изничтожить на его ПК все залежи кино и музыки

- выход в Интернет есть ? Если да, то опять-же несколько любителей торрентов и порнушки могут создать приличную нагрузку на сеть. Действия - Инет через прокси, мониторинг трафика

- всякие сетевые игры.

2. Какая операционная система на сервере ? Какие задачи ? Если например W2K3 или W2K8, то там несложно посмотреть, какие файлы открыты юзерами и понять что оптимизировать в плане быстродействия дисковой системы, и оптимизировать ли ее вообще. Говоря о Raid могу сразу сказать, что RAID на "бортовом" контроллере материнской платы - извращение, сильного прироста быстродействия не даст...

3. В идеале необходимо по возможности отказаться от свитчей на 3-м уровне. Если это недлорогие DLink/TPLink, то они могут банально захлебнуться под нагрузкой

4. Проверить сетевые карты у пользователей (нередко бывает так, что свитч гигабитный, а при подключении к нему выбирается скорость 100). Вооружиться анализатором типа Fluke (нет - купить, или хотя-бы одолжить ... вещь в хозяйстве крайне нужная) и проверить кабели (нередко бывает обрыв одной из 4-х пар - связь есть, но 100 мбит - такое запросто может быть между свитчами), кабели попадаются поганые (под гигабитную сеть нужен хороший, CAT5e), свитчи могут быть дурные.

5. Сетевая карта на сервере какая ? В иделает должна быть внешняя, профессиональная. Если интегрированная - то тут уж как повезет ...

 

Плюс необходимо учитывать, что в случае копирования файла между сервером и своим ПК скорее всего удастся получить скорость 500-600 мбит, но не более. Причин тому несколько, можно поверить мне на слово Поэтому необходимо на сервере запустить мониторинг сети, положить на диск сервера некий кинофильм и разом запустить его загрузку с 3 ПК. В идеале загрузка ести на сервере должна быть 93-95% (т.е. 930-950 мбит), если этого нет, то запускаем системный монитор, диски на мониторинг и будет видно, что там творится ... И стоит учесть, что обычно бытовой диск при последовательном чтении дает 60 мбайт/сек, т.е. 60*8 = 480 мбит. В случае появления очереди запросов и чтения множества лежащих в разных местах файлов этот показатель упадет в 2-3 раза (а срок жизни обычного SATA диска - сократится в 10 раз). Вывод - любым измерителем производительности дисковой системы (в Инет их туча, типа CrystalDiskMark или IOMeter) измерить параметры дисковой системы. И подумать о хорошем контроллере и многоуровневом кешировании ... плюс изучить, какие операции чтения-записи идут от пользоватлей (последовательная чтение/запись, случайная ...). Если преобладают операции случайного чтения/записи - выясняем, то блоками какого размера. Под все это потом производится тюнинг системы. Приведу преальный пример - моя файлопомойка ориентирована на хранение файлов, которые целиком записываются и целиком читаются. Показатель скорости последовательного чтения/записи хранилища порядка 2000 мбайт/сек. Но на операциях случайного чтения/записи блоками по 4 кб скорость падает до 270-350 мбайт/сек (почти на порядок), и это объяснимо, потому как под мои задачи и RAID задан большой размер страйпа. На сервере БД картина обратная ...

[Kapral]

Говоря о Raid могу сразу сказать, что RAID на "бортовом" контроллере материнской платы - извращение, сильного прироста быстродействия не даст...

Скажу больше - даже RAID5 на SATA2 дает просадку по скорости причем заметную на глаз, даже когда сервер сам по себе в вакууме, без сетевого обмена

А если коннектятся 3-4 юзера - просадка усиливается

Перевел на таком сервере с RAID5 на отдельные диски - просадка закончилась