Google Stackdriver теряет связь с Dataproc

google-compute-engine google-cloud-dataproc stackdriver

223 просмотра

1 ответ

Всякий раз, когда я настраивал кластер Google Dataproc с мониторингом Stackdriver и агентом мониторинга, я замечал, что Stackdriver просто теряет соединение всякий раз, когда Dataproc получает работу. В интерфейсе стекового драйвера он имеет значение задержки, которое, по их словам, не должно превышать 2 минуты в большинстве случаев. Это значение для меня - просто время, прошедшее с момента отправки работы (часто часов), и нет доступных метрик, которые нельзя увидеть на веб-странице Compute Engine.

Есть ли способ заставить мониторинг стековых драйверов работать с dataproc? Я хотел бы иметь возможность контролировать использование оперативной памяти моей работы, если это возможно.

Мониторинг Stackdriver запускается и настраивается моей организацией, но, похоже, у них есть доступ ко всем функциям. Мы не используем HTTP прокси. Агент мониторинга настраивается с помощью команд , описанных в документации Google . У меня есть скрипт запуска (флаг --initialization-actions), который работает как для главного, так и для рабочих, который выглядит следующим образом:

#!/bin/bash
cd /tmp
curl -O "https://repo.stackdriver.com/stack-install.sh"
bash stack-install.sh --write-gcm
# ... other initialization stuffs

РЕДАКТИРОВАТЬ: «другие вещи инициализации» - это всего лишь пара команд gsutil copy, чтобы получить файлы ресурсов на локальные машины, если это имеет значение.

Я попытался перенести установку агента после других команд, и я использую только / tmp, потому что Google рекомендует использовать абсолютные пути при копировании файлов (забыл, где документация для этого, но это помогло мне раньше).

Вот снимок экрана с запросом о том, что я вижу в stackdriver. Обратите внимание, что все показатели, кроме использования ЦП, останавливаются на вертикальной линии. Вот когда работа была представлена ​​на искру сегодня:

Скриншот Stackdriver

Результаты grep stackdriver-agent /var/logs/syslog:

Sep  2 13:31:53 <cluster-name>-m stackdriver-agent[3609]: Starting Stackdriver metrics collection agent: stackdriver-agentoption = Hostname; value = 3431688934917455875;
Sep  2 13:31:53 <cluster-name>-m stackdriver-agent[3609]: option = Interval; value = 60.000000;
Sep  2 13:31:53 <cluster-name>-m stackdriver-agent[3609]: Created new plugin context.
Sep  2 13:31:53 <cluster-name>-m stackdriver-agent[3609]: option = PIDFile; value = /var/run/stackdriver-agent.pid;
Sep  2 13:31:53 <cluster-name>-m stackdriver-agent[3609]: option = Hostname; value = 3431688934917455875;
Sep  2 13:31:53 <cluster-name>-m stackdriver-agent[3609]: option = Interval; value = 60.000000;
Sep  2 13:31:53 <cluster-name>-m stackdriver-agent[3609]: Created new plugin context.
Sep  2 13:31:53 <cluster-name>-m stackdriver-agent[3609]: .
Sep  2 13:31:56 <cluster-name>-m stackdriver-agent[3823]: Stopping Stackdriver metrics collection agent: stackdriver-agent.
Sep  2 13:31:56 <cluster-name>-m stackdriver-agent[3842]: Starting Stackdriver metrics collection agent: stackdriver-agentoption = Interval; value = 60.000000;
Sep  2 13:31:56 <cluster-name>-m stackdriver-agent[3842]: Created new plugin context.
Sep  2 13:31:56 <cluster-name>-m stackdriver-agent[3842]: option = PIDFile; value = /var/run/stackdriver-agent.pid;
Sep  2 13:31:56 <cluster-name>-m stackdriver-agent[3842]: option = Interval; value = 60.000000;
Sep  2 13:31:56 <cluster-name>-m stackdriver-agent[3842]: Created new plugin context.
Sep  2 13:31:56 <cluster-name>-m stackdriver-agent[3842]: .

РЕДАКТИРОВАТЬ: Полная команда создания кластера:

gcloud dataproc clusters create <cluster-name> --master-machine-type n1-highmem-2 --worker-machine-type n1-highmem-2 --initialization-actions <path-to-script> --master-boot-disk-size 50GB --worker-boot-disk-size 50GB --num-workers 16 --network internal --zone us-east1-c --scopes https://www.googleapis.com/auth/cloud-platform --project <project-name> --tags dataproc

dataprocТег открывает брандмауэр на все порты в моей организации. internalСеть была найдена работать лучше, чемdefault

Результаты sudo systemctl | grep stackdriver-agent:

stackdriver-agent.service      active running   
LSB: start and stop Stackdriver Agent

Результаты sudo ps wwaux | grep stackdriver-agent:

root      3851  0.0  0.0 1004704 9096 ?        Ssl  12:50   0:00 /opt/stackdriver/collectd/sbin/stackdriver-collectd -C 
/opt/stackdriver/collectd/etc/collectd.conf -P /var/run/stackdriver-agent.pid
7053  0.0  0.0  12732  2068 pts/0    S+   13:14   0:00 grep stackdriver-agent
Автор: jbird Источник Размещён: 09.11.2019 04:54

Ответы (1)


0 плюса

Я повторил некоторые ваши шаги, и хотя я не могу сказать, почему может показаться, что мониторинг «работает», пока вы не отправите задание, поскольку это было первое, с чем я столкнулся, когда пытался просто применить инструкции без отладки. внутренняя часть Dataproc, вы должны убедиться, что вы предоставляете правильные области действия вашему кластеру Dataproc, чтобы агент стека-драйвера мог записать свои метрики в API. А именно, мне показалось, что сработало следующее, оставив действие init таким же:

gcloud dataproc clusters create dhuo-stackdriver \
    --initialization-actions gs://<my-bucket>/install_stackdriver.sh \
    --scopes https://www.googleapis.com/auth/monitoring.write

Кроме того, вы можете использовать другие области, перечисленные в документации по Stackdriver, такие как более широкая cloud-platformобласть. Обратите внимание, что это может переопределить некоторые другие миксины области действия по умолчанию, которые обычно добавляются, если не используются определенные пользователем области:

https://www.googleapis.com/auth/bigquery
https://www.googleapis.com/auth/bigtable.admin.table
https://www.googleapis.com/auth/bigtable.data
https://www.googleapis.com/auth/devstorage.full_control

Мой локальный тест с вашим фрагментом в качестве действия инициализации:

#!/bin/bash
cd /tmp
curl -O "https://repo.stackdriver.com/stack-install.sh"
bash stack-install.sh --write-gcm

плюс https://www.googleapis.com/auth/monitoring.writeработа в моем тестовом проекте, в том числе путем подачи работы:

Страница Stackdriver для кластера Dataproc

Автор: Dennis Huo Размещён: 01.09.2016 09:40
Вопросы из категории :
32x32