Google Dataproc Недостаточно отчетов о количестве узлов данных
511 просмотра
1 ответ
Я использую сетевые конфигурации по умолчанию и пытаюсь запустить стандартный кластер с 1 мастером и 2 рабочими, но он всегда терпит неудачу. Рабочие узлы не могут выполнить RPC для управления или наоборот. Я также получаю информационное сообщение на странице кластера, уведомляющее меня о том, что
Правила брандмауэра для указанной сети или подсети, вероятно, не позволят достаточной связи между виртуальными машинами для Dataproc для правильной работы
Сообщения об ошибках следующие:
Невозможно запустить мастер: Недостаточное количество отчетов узлов данных. Рабочий кластер-597c-w-0 не может зарегистрироваться в главном кластере-597c-m. Это может быть связано с тем, что он отключен или сеть неправильно настроена. Рабочий кластер-597c-w-1 не может зарегистрироваться на главном кластере-597c-m. Это может быть связано с тем, что он отключен или сеть неправильно настроена.
Хотя я использую конфигурации по умолчанию.
Автор: Karim Tarabishy Источник Размещён: 21.07.2019 09:27Ответы (1)
2 плюса
Итак, я обнаружил, что в правиле брандмауэра была неправильная конфигурация, он разрешал порты tcp от 1 до 33535, поэтому я изменил его на 65535.
Автор: Karim Tarabishy Размещён: 03.01.2018 06:26Вопросы из категории :
- google-cloud-dataproc Примеры Dataproc + BigQuery - есть ли в наличии?
- google-cloud-dataproc Гуава версия при использовании спарк-оболочки
- google-cloud-dataproc Pausing Dataproc cluster - Google Compute engine
- google-cloud-dataproc SparkR на Dataproc (Spark 1.5.x) не работает
- google-cloud-dataproc Мониторинг сеансов Spark-Shell или PySpark-Shell в кластере Dataproc
- google-cloud-dataproc Миграция Google Cloud Dataproc на Spark 1.6.0
- google-cloud-dataproc Google Dataproc - часто отключайтесь от исполнителей
- google-cloud-dataproc Когда вы отправляете задание с помощью pyspark, как получить доступ к загрузке статических файлов с аргументом --files?
- google-cloud-dataproc Доступ к данным в хранилище Google для Apache Spark SQL
- google-cloud-dataproc Exec Sh от PySpark
- google-cloud-dataproc Google Cloud Dataproc - ошибка файла задания по команде sc.textFile ()
- google-cloud-dataproc Spark работа из ОЗУ (java.lang.OutOfMemoryError), хотя есть много. хмх слишком низко?
- google-cloud-dataproc Как я могу загрузить данные, которые невозможно получить в каждом исполнителе Spark?
- google-cloud-dataproc Перестал работать DataProc MapReduce
- google-cloud-dataproc Как вы используете Java-клиент Google DataProc для отправки искровых заданий с использованием jar-файлов и классов в соответствующем сегменте GS?
- google-cloud-dataproc Подключение ноутбука IPython к Spark Master, работающему на разных машинах
- google-cloud-dataproc Спарк-кластер Google DataProc API с c #
- google-cloud-dataproc Spark looses all executors one minute after starting
- google-cloud-dataproc Spark 1.6 Кафка потокового на dataproc py4j ошибка
- google-cloud-dataproc Использование одного и того же JavaSparkContext для нескольких заданий во избежание использования времени при инициализации драйвера искры