Вопрос:

Ошибка установки Scrapoxy с использованием докера

docker

292 просмотра

1 ответ

224 Репутация автора

Пытаясь начать работу со Scrapoxy, следуя приведенным здесь инструкциям , я следовал инструкциям до шага 3A. Однако, когда я запускаю Docker, используя команду, указанную в шаге 3A, я получаю сообщение об ошибке, которое постоянно повторяется. Ниже приведена ошибка, а также выходы, предшествующие ей каждый раз, когда она появляется:

2017-11-08T22:24:51.804Z - debug: [Manager] checkInstances
2017-11-08T22:24:52.515Z - debug: [Manager] adjustInstances: required:1 / actual:0
2017-11-08T22:24:52.515Z - debug: [Manager] adjustInstances: add 1 instances
2017-11-08T22:24:52.515Z - debug: [ProviderAWSEC2] createInstances: count=1
2017-11-08T22:24:53.225Z - debug: [ProviderAWSEC2] createInstances: actualCount=0
2017-11-08T22:24:54.045Z - error: [Manager] Error: Cannot update or adjust instances: InvalidParameterValue: Value () for parameter groupId is invalid. The value cannot be empty
    at Request.extractError (/usr/lib/node_modules/scrapoxy/node_modules/aws-sdk/lib/services/ec2.js:50:35)
    at Request.callListeners (/usr/lib/node_modules/scrapoxy/node_modules/aws-sdk/lib/sequential_executor.js:105:20)
    at Request.emit (/usr/lib/node_modules/scrapoxy/node_modules/aws-sdk/lib/sequential_executor.js:77:10)
    at Request.emit (/usr/lib/node_modules/scrapoxy/node_modules/aws-sdk/lib/request.js:615:14)
    at Request.transition (/usr/lib/node_modules/scrapoxy/node_modules/aws-sdk/lib/request.js:22:10)
    at AcceptorStateMachine.runTo (/usr/lib/node_modules/scrapoxy/node_modules/aws-sdk/lib/state_machine.js:14:12)
    at /usr/lib/node_modules/scrapoxy/node_modules/aws-sdk/lib/state_machine.js:26:10
    at Request.<anonymous> (/usr/lib/node_modules/scrapoxy/node_modules/aws-sdk/lib/request.js:38:9)
    at Request.<anonymous> (/usr/lib/node_modules/scrapoxy/node_modules/aws-sdk/lib/request.js:617:12)
    at Request.callListeners (/usr/lib/node_modules/scrapoxy/node_modules/aws-sdk/lib/sequential_executor.js:115:18)
    at Request.emit (/usr/lib/node_modules/scrapoxy/node_modules/aws-sdk/lib/sequential_executor.js:77:10)
    at Request.emit (/usr/lib/node_modules/scrapoxy/node_modules/aws-sdk/lib/request.js:615:14)
    at Request.transition (/usr/lib/node_modules/scrapoxy/node_modules/aws-sdk/lib/request.js:22:10)
    at AcceptorStateMachine.runTo (/usr/lib/node_modules/scrapoxy/node_modules/aws-sdk/lib/state_machine.js:14:12)
    at /usr/lib/node_modules/scrapoxy/node_modules/aws-sdk/lib/state_machine.js:26:10
    at Request.<anonymous> (/usr/lib/node_modules/scrapoxy/node_modules/aws-sdk/lib/request.js:38:9)

Когда я открываю Scrapoxy GUI (согласно шагу 4 в Руководстве по быстрому запуску, связанному с вышеупомянутым), я не вижу ни одного экземпляра, как я ожидал, основываясь на выводе, показанном выше. Шаг 6 быстрого запуска возвращает сообщение об ошибкеscrapoxy: command not found

Как я могу исправить это, чтобы я мог использовать Scrapoxy? Я хотел бы интегрировать его с библиотекой Python Scrapy.

(Я использую Ubuntu 16.04, если это имеет значение. Docker уже установлен и работает.)

Автор: Johiasburg Frowell Источник Размещён: 08.11.2017 11:02

Ответы (1)


2 плюса

0 Репутация автора

Решение

Что не так с вашим шагом 3А

  • Ссылка: выпуск Scrapoxy № 70
  • Убедитесь, что ваш экземпляр AWS соответствует следующим критериям:
    • Он расположен в регионе eu-west1
    • Вы создали группу безопасности в регионе eu-west1

Что не так с вашим шагом 3B

  • Вы неправильно установили scrapoxy.
  • Вот пример того, как установить scrapoxy на Ubuntu 16.04 LTS (протестировано на Linode)

    • Сначала вы должны установить nodejsна Ubuntu 16.04 через

      sudo apt-get update
      curl -sL https://deb.nodesource.com/setup_9.x | sudo -E bash -
      sudo apt-get install -y nodejs
      
    • Затем установите Make и Scrapoxy:

      sudo apt-get install -y build-essential && sudo npm install -g scrapoxy
      
    • Создать конфигурацию:

      scrapoxy init conf.json
      
    • Установите ваш любимый текстовый редактор (Vim или т. Д.)
    • Изменить конфигурацию
      • редактировать conf.json
      • В commanderразделе замените passwordпароль на ваш выбор
      • В providers/awsec2разделе, заменить accessKeyId, secretAccessKeyи regionвашими учетными данными и параметрами АМС.
    • Запустить Scrapoxy

      scrapoxy start conf.json -d
      
    • Подключите интерфейс GUI:

      http://server-ip:8889
      
Автор: user8389458 Размещён: 10.11.2017 12:36
Вопросы из категории :
32x32