Вопрос:

Apache Ignite Hadoop Accelerator MapReduce Задания отсутствуют на сервере JobHistory

hadoop mapreduce ignite

116 просмотра

1 ответ

58 Репутация автора

В настоящее время я использую ускоритель Apache Ignite Hadoop для MapReduce. Задания выполняются, но я не вижу их в JobHistoryServer. Я не ожидал бы увидеть работу в менеджере ресурсов Yarn (и не вижу).

Я запускаю свои рабочие места MapReduce, как hadoop --config path/to/config/ jar path/to/jar ....

В mapred-site.xml я добавил

<property>
  <name>mapreduce.framework.name</name>
  <value>ignite</value>
</property>
<property>
  <name>mapreduce.jobtracker.address</name>
  <value>[your_host]:11211</value>
</property>

Мои настройки mapreduce.jobhistory. * Не были изменены.

В core-site.xml я добавил

<property>
  <name>fs.default.name</name>
  <value>igfs://igfs@/</value>
</property>
<property>
  <name>fs.igfs.impl</name>
  <value>org.apache.ignite.hadoop.fs.v1.IgniteHadoopFileSystem</value>
</property>
<property>
  <name>fs.AbstractFileSystem.igfs.impl</name>
  <value>org.apache.ignite.hadoop.fs.v2.IgniteHadoopFileSystem</value>
</property>

Я также добавил ignite-core-1.6.0.jar, ignite-hadoop-1.6.0.jar и ignite-shmem-1.0.0.jar в путь $ HADOOP_HOME. Точно так же я экспортировал HADOOP_HOME, HADOOP_COMMON_HOME, HADOOP_HDFS_HOME и HADOOP_MAPRED_HOME.

Эта функция не поддерживается Ignite или я что-то не так делаю?

Кроме того, есть ли способ отследить задание MapReduce, работающее в Ignite?

Автор: cahilltr Источник Размещён: 22.08.2016 08:24

Ответы (1)


0 плюса

171 Репутация автора

Решение

В настоящее время Ignite никак не интегрируется с сервером истории Hadoop, запрос об этом выдает https://issues.apache.org/jira/browse/IGNITE-3766 .

Автор: Ivan Veselovsky Размещён: 24.08.2016 04:03
Вопросы из категории :
32x32