Я пытаюсь отправить pyspark в кластер Google DataProc, и я хочу указать свойства для конфигурации pyspark в командной строке. Документация говорит, что я могу указать эти свойства с --propertiesфлагом. Команда, которую я пытаюсь запустить, выглядит примерно так:

gcloud dataproc jobs submit pyspark simpleNB.py --cluster=elinorcluster  —-properties=executor-memory=10G --properties=driver-memory=46G --properties=num-executors=20 -- -i X_small_train.txt -l y_small_train.txt -u X_small_test.txt -v y_small_test.txt

Я серьезно попробовал каждую комбинацию, которую я могу придумать, для флага свойств:

gcloud dataproc jobs submit pyspark simpleNB.py --cluster=elinorcluster  —-properties executor-memory=10G, driver-memory=46G,properties=num-executors=20 -- -i X_small_train.txt -l y_small_train.txt -u X_small_test.txt -v y_small_test.txt

и т.д., но я не могу заставить его работать. Дает мне эту ошибку:

ERROR: (gcloud.dataproc.jobs.submit.pyspark) unrecognized arguments: —-properties=executor-memory=10G
Usage: gcloud dataproc jobs submit pyspark PY_FILE --cluster=CLUSTER [optional flags] [-- JOB_ARGS ...]
  optional flags may be  --archives | --driver-log-levels | --files | --help |
                     --jars | --labels | --properties | --py-files | -h

Кто-нибудь знает, как заставить это работать? Он говорит, что ему нужен список пар ключ-значение, но каков формат списка?