spark-shell и sparkR в Google DataProc

google-cloud-platform google-cloud-dataproc

483 просмотра

1 ответ

Я очень новичок в Google DataProc

Мы хотим запустить набор кода через spark-shell или sparkR для тестирования. Можно ли подключиться к кластеру spark и выполнить команды в spark-shell или sparkR в google DataProc?

Я проверил документ, и кажется, что мы можем отправлять задания, используя spark-submit, но я не нахожу информацию, связанную с spark-shell или SparkR.

Автор: sag Источник Размещён: 04.09.2019 10:15

Ответы (1)


3 плюса

Решение

Да.

spark-shell и sparkR установлены на всех виртуальных машинах в кластере dataproc, и вы можете подключиться к любому из них по SSH (я обычно использую главный узел) и запустить spark-shell или sparkR.

Автор: Patrick Clay Размещён: 24.01.2017 08:26
Вопросы из категории :
32x32