Ливи не работает на PySpark и Spark в Hortonworks

apache-spark hortonworks-data-platform

955 просмотра

1 ответ

2440 Репутация автора

Я начал сеанс зажигания REST через livy, как показано ниже:

curl -X POST --data '{"kind": "spark"}' -H "Content-Type: application/json" localhost:8998/sessions

{
"from": 0,
"sessions": [
    {
        "id": 0,
        "kind": "spark",
        "log": [
            "16/07/18 05:05:44 INFO ScalatraListener: The cycle class name from the config: com.cloudera.livy.repl.ScalatraBootstrap",
            "16/07/18 05:05:44 INFO ScalatraListener: Initializing life cycle class: ScalatraBootstrap"
        ],
        "proxyUser": null,
        "state": "starting"
    }
],
"total": 1
}

Однако вместо Cloudera я использую Hortonworks и настроил параметры в соответствии с http://hortonworks.com/apache/zeppelin/#section_3 :

export SPARK_HOME=/usr/hdp/current/spark-client
export JAVA_HOME=/usr/jdk64/jdk1.8.0_60
export PATH=/usr/jdk64/jdk1.8.0_60/bin:$PATH
export HADOOP_CONF_DIR=/etc/hadoop/conf
export LIVY_SERVER_JAVA_OPTS="-Xmx2g"

Я закончил с этой ошибкой:

{
    "from": 0,
    "sessions": [
        {
            "id": 0,
            "kind": "spark",
            "log": [
                "\tat com.cloudera.livy.repl.scalaRepl.SparkInterpreter.execute(SparkInterpreter.scala:111)",
                "\tat com.cloudera.livy.repl.Session.com$cloudera$livy$repl$Session$$executeCode(Session.scala:98)",
                "\tat com.cloudera.livy.repl.Session$$anonfun$3.apply(Session.scala:73)",
                "\tat com.cloudera.livy.repl.Session$$anonfun$3.apply(Session.scala:73)",
                "\tat scala.concurrent.impl.Future$PromiseCompletingRunnable.liftedTree1$1(Future.scala:24)",
                "\tat scala.concurrent.impl.Future$PromiseCompletingRunnable.run(Future.scala:24)",
                "\tat java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)",
                "\tat java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)",
                "\tat java.lang.Thread.run(Thread.java:745)",
                "16/07/18 05:25:13 INFO RemoteActorRefProvider$RemotingTerminator: Remoting shut down."
            ],
            "proxyUser": null,
            "state": "error"
        }
    ],
    "total": 1
}

Я подозреваю, что мои работы с pyspark и spark не работают, поскольку они продолжают указывать на классы Cloudera вместо Hortonworks.

Может быть или нет из-за конфигов, как я видел код в https://github.com/cloudera/hue/blob/master/apps/spark/java/bin/livy-repl, что класс по умолчанию является com. cloudera.hue.livy.repl.Main, но я не очень знаком с Livy на данный момент, чтобы сказать, является ли это фактической ошибкой или нет.

Как я могу убедиться, что Ливи работает с Apache Spark через Hortonworks?

Автор: Jonathan Moo Источник Размещён: 18.07.2016 09:32

Ответы (1)


0 плюса

406 Репутация автора

Я работаю над Spark в HDP 2.4, это изменения конфигурации, которые я сделал

Добавлять

spark.master  yarn-cluster

в /usr/hdp/current/spark-client/conf/spark-defaults.conf

livy-env.sh

Добавить эти записи

export SPARK_HOME=/usr/hdp/current/spark-client   
export HADOOP_HOME=/usr/hdp/current/hadoop-client/bin/    
export HADOOP_CONF_DIR=/etc/hadoop/conf    
export SPARK_CONF_DIR=$SPARK_HOME/conf    
export LIVY_LOG_DIR=/jobserver-livy/logs    
export LIVY_PID_DIR=/jobserver-livy    
export LIVY_MAX_LOG_FILES=10    
export HBASE_HOME=/usr/hdp/current/hbase-client/bin

livy.conf

Добавить эту запись в конец файла

livy.rsc.rpc.server.address=<loop back ip address>
Автор: Balakrishna D Размещён: 10.11.2016 07:44
Вопросы из категории :
32x32