Вопрос:

Используйте несколько TPU в Keras с TF

tensorflow machine-learning keras google-cloud-platform

25 просмотра

2 ответа

3905 Репутация автора

Как настроить модель Keras для использования нескольких TPU для обучения? Все примеры используют один адрес TPU

Автор: Boppity Bop Источник Размещён: 09.06.2019 02:44

Ответы (2)


1 плюс

832 Репутация автора

В керасе это пока официально не предусмотрено.

Но я знаю, что люди очень усердно работают над разработкой этой функции для Кераса.

В нижнем тензорном слое они обеспечивают некоторую экспериментальную функцию. Увидеть

https://www.tensorflow.org/guide/distribute_strategy

https://www.tensorflow.org/guide/using_tpu

https://cloud.google.com/ml-engine/docs/tensorflow/using-tpus

«Экспериментальная поддержка облачных TPU в настоящее время доступна для Keras и Colab».

В вашей программе Tensorflow вы должны использовать TPUClusterResolver для соединения с сервером TPU gRPC, работающим на виртуальной машине TPU. TPUClusterResolver возвращает IP-адрес и порт облачного TPU.

Назначение операций TPU Чтобы использовать TPU на компьютере, вы должны использовать API TensorFlow TPUEstimator, который наследуется от высокоуровневого API TensorFlow Estimator.

Это может быть не совсем то, что вы хотели, например, локальный кластер TPU. Но вы можете следовать их пути, чтобы начать

Лично я никогда не пробовал со сложным решением для нескольких графических процессоров. В школьных исследованиях мы проводим только простое обучение на одном GPU. Вот что я могу найти, чтобы помочь вам

Так что присоединяйтесь к их бете и удачи!

Автор: Dr Yuan Shenghai Размещён: 09.06.2019 04:44

0 плюса

3905 Репутация автора

По-видимому, правильный способ использования нескольких TPU - передать список адресов в распознаватель:

TPU_ADDRESS1 = 'grpc://10.240.1.2:8470'
TPU_ADDRESS2 = 'grpc://10.240.2.2:8470'

tpu_model = tf.contrib.tpu.keras_to_tpu_model(model, 
        strategy=tf.contrib.tpu.TPUDistributionStrategy(
            tf.contrib.cluster_resolver.TPUClusterResolver(tpu = [TPU_ADDRESS1,TPU_ADDRESS2])))

Однако TF 1.13 не поддерживает более 1 ТПУ

Автор: Boppity Bop Размещён: 12.06.2019 06:42
Вопросы из категории :
32x32