Кластер Google Dataproc, созданный по протоколу HTTP, но не указанный в SDK или программе просмотра

google-cloud-platform google-cloud-storage google-cloud-dataproc

366 просмотра

1 ответ

В настоящее время я работаю над облачной платформой Google для запуска Spark Jobs в облаке. Для этого я планирую использовать Google Cloud Dataproc.

Вот рабочий процесс, который я автоматизирую:

  • Загрузите CSV-файл в Google Cloud Storage, который будет входом для моей работы Spark
  • При загрузке запустите облачные функции Google, которые должны создать кластер, отправить задание и завершить работу кластера, хотя HTTP-API доступен для Dataproc.

Я могу создать кластер из своей облачной функции Google с помощью google apis nodejs client( http://google.github.io/google-api-nodejs-client/latest/dataproc.html ). Но проблема в том , что я не могу видеть этот кластер на зрителя кластера Dataproc или даже с помощью SDK Gcloud: gcloud dataproc clusters list.

Тем не менее, я могу увидеть свой недавно созданный кластер в Google Api Explorer: https://developers.google.com/apis-explorer/#p/dataproc/v1/dataproc.projects.regions.clusters.list .

Обратите внимание, что я создаю свой кластер в текущем проекте.

Что я могу сделать неправильно, чтобы не видеть этот кластер при просмотре с помощью gcloud sdk?

Спасибо заранее за вашу помощь.

С уважением.

Автор: Mael Razavet Источник Размещён: 01.10.2019 07:05

Ответы (1)


3 плюса

Решение

Могу поспорить, что это связано с полем "регион". По умолчанию Cloud SDK по умолчанию настроен на «глобальный» регион [1]. Попробуйте использовать команды dataproc Cloud SDK с --regionфлагом (например, gcloud dataproc clusters list --region)

[1] https://cloud.google.com/dataproc/docs/concepts/regional-endpoints

Автор: tix Размещён: 05.07.2017 03:46
Вопросы из категории :
32x32