Это похоже на ситуацию с отложенной работой. Если первый запрос просто ожидает, наиболее эффективным способом является назначение процесса, ожидающего его завершения, и освобождение процесса Rails для обработки другого запроса.

Да, вам нужно больше dynos, специальные рабочие dynos, те, которые работают в фоновом режиме, вы можете проверить этот Railscast на отложенных заданиях, которые также могут помочь:

http://railscasts.com/episodes/366-sidekiq

Также вот краткое руководство по добавлению единорога и нескольких потоков в ваш бесплатный экземпляр heroku:

https://devcenter.heroku.com/articles/rails-unicorn

Вы делите свой динамо на два или более экземпляров, каждый из которых может обрабатывать разные запросы.

Какой тип сервера приложений вы используете? Если вы используете пассажир или единорога, вы можете иметь несколько рабочих процессов, которые могут обрабатывать одновременные запросы

http://www.modrails.com/documentation/Users%20guide%20Apache.html#_passengermaxinstancesperapp_lt_integer_gt