Настройка узла Dataproc

google-cloud-dataproc

61 просмотра

1 ответ

Я понимаю, что кластеры Google DataProc оснащены для обработки действий инициализации, которые выполняются при создании каждого узла. Однако это разумно только для небольших действий и не очень хорошо с созданием узлов с тоннами зависимостей и программного обеспечения для больших конвейеров. Таким образом, мне было интересно - есть ли в любом случае загрузка узлов в виде пользовательских образов или ускорение изображения после создания узла, на котором установлены все установки, поэтому вам не придется загружать вещи снова и снова.

Автор: user2620180 Источник Размещён: 29.08.2019 01:44

Ответы (1)


0 плюса

Хороший вопрос.

Как вы заметили, действия по инициализации в настоящее время являются каноническим способом установки компонентов в кластеры при их создании. Если у вас есть куча зависимостей или вам нужно что-то вроде компиляции из исходного кода, эти действия по инициализации могут занять немного времени.

У нас есть поддержка лучшего метода для обработки настроек в нашей долгосрочной дорожной карте. Это может быть через пользовательские изображения или какой-то другой механизм.

Тем временем, масштабирование кластеров вверх / вниз может дать некоторое облегчение, если вы хотите сохранить некоторые настройки на месте и разделить разницу между временем загрузки и постоянством вашего кластера. Аналогично, если есть какие-либо предварительно скомпилированные пакеты, они всегда экономят время.

Автор: James Размещён: 15.06.2017 04:08
Вопросы из категории :
32x32