Как запустить скрипт инициализации кластера на GCP после создания кластера

google-cloud-dataproc gcp presto

650 просмотра

2 ответа

Я создал кластер Google Dataproc, но мне нужно установить presto, так как теперь у меня есть требование. Presto предоставляется в качестве действия инициализации Dataproc здесь , как я могу запустить это действие инициализации после создания кластера.

Автор: Pramod Sripada Источник Размещён: 05.10.2019 07:02

Ответы (2)


1 плюс

Решение

Большинство действий инициализации, вероятно, будут выполняться даже после создания кластера (хотя я не пробовал действие инициализации Presto).

Мне нравится запускать, clusters describeчтобы получить имена экземпляров, а затем запускать что-то вроде gcloud compute ssh <NODE> -- -T sudo bash -s < presto.shдля каждого узла. Ссылка: Как использовать SSH для запуска сценария оболочки на удаленной машине? ,

Примечания:

  • Все, что после, --является аргументом для обычной команды ssh
  • В -Tсредства не пытаются создать интерактивный сеанс ( в противном случае вы получите предупреждение , как «псевдо-терминал не будет выделяться , так как STDIN не является терминалом.»)
  • Я использую "sudo bash", потому что сценарии действий инициализации предполагают, что они запускаются от имени пользователя root.
  • presto.sh должен быть копией скрипта на вашем локальном компьютере. Вы могли бы альтернативно SSH и gsutil cp gs://dataproc-initialization-actions/presto/presto.sh . && sudo bash presto.sh.

Но @Kanji Hara в целом правильно. Вращать новый кластер довольно быстро / безболезненно, поэтому мы рекомендуем использовать действия по инициализации при создании кластера.

Автор: Karthik Palaniappan Размещён: 21.10.2017 05:58

1 плюс

Вы можете использовать параметр initialization-actions

Пример :

gcloud dataproc clusters create $CLUSTERNAME \
    --project $PROJECT \
    --num-workers $WORKERS \
    --bucket $BUCKET \
    --master-machine-type $VMMASTER \
    --worker-machine-type $VMWORKER \
    --initialization-actions \
         gs://dataproc-initialization-actions/presto/presto.sh \
    --scopes cloud-platform

Может быть, этот скрипт может помочь вам: https://github.com/kanjih-ciandt/script-dataproc-datalab

Автор: hkanjih Размещён: 21.10.2017 12:05
Вопросы из категории :
32x32