В настоящее время я работаю над облачной платформой Google для запуска Spark Jobs в облаке. Для этого я планирую использовать Google Cloud Dataproc.

Вот рабочий процесс, который я автоматизирую:

• Загрузите CSV-файл в Google Cloud Storage, который будет входом для моей работы Spark
• При загрузке запустите облачные функции Google, которые должны создать кластер, отправить задание и завершить работу кластера, хотя HTTP-API доступен для Dataproc.

Я могу создать кластер из своей облачной функции Google с помощью google apis nodejs client( http://google.github.io/google-api-nodejs-client/latest/dataproc.html ). Но проблема в том , что я не могу видеть этот кластер на зрителя кластера Dataproc или даже с помощью SDK Gcloud: gcloud dataproc clusters list.

Тем не менее, я могу увидеть свой недавно созданный кластер в Google Api Explorer: https://developers.google.com/apis-explorer/#p/dataproc/v1/dataproc.projects.regions.clusters.list .

Обратите внимание, что я создаю свой кластер в текущем проекте.

Что я могу сделать неправильно, чтобы не видеть этот кластер при просмотре с помощью gcloud sdk?

Спасибо заранее за вашу помощь.

С уважением.