Как подходят к подбору и к кому идти?

Всем доброго утра. Работаю в компании, где решили поднимать инференс своими силами. Задача поставлена, бюджет примерно обозначен, а вот с выбором конфигурации ступор. В интернете десятки моделей платформ, буквы и цифры сливаются, и я не понимаю, чем одна отличается от другой применительно к нашей нагрузке. Опыта закупки такого класса оборудования у нас нет вообще. Хочется понять логику подбора и найти тех, кто соберёт конфигурацию под нашу задачу. Подскажите, как подходят к подбору и к кому идти?

Подходят от задачи, а не от каталога: сначала определяются модель, фреймворк, требуемая память на карту и предполагаемая нагрузка, и уже под это подбирается платформа. Перебирать буквы самостоятельно - гиблое занятие, вы правы. Проще купить GPU сервер через интегратора, который сам конфигурирует: GetCore работает именно так, подбирает CPU, GPU, память и накопители, ставит и настраивает стек с CUDA, PyTorch и Docker. Что важно уточнить на старте: сколько карт понадобится в перспективе года, потому что менять платформу ради масштабирования дороже, чем сразу взять с запасом по слотам. И заранее решите вопрос с размещением: под такие платформы нужны питание и охлаждение, обычная серверная стойка в офисе подходит не всегда.