Braces являются специальными символами регулярных выражений, используемыми для групп повторений, поэтому вы должны избегать их.

Pattern logEntry = Pattern.compile("\\{(.*?)\\}");

Простой тестер:

 public static void main(String[] args) throws Exception {
        String x =  "{\"time\" : \"2012-09-24T03:08:50\", \"message\" : \"Call() started\"}";
        Pattern logEntry = Pattern.compile("\\{(.*?)\\}");
        Matcher matchPattern = logEntry.matcher(x);

        while(matchPattern.find()) {
            System.out.println(matchPattern.group(1));
        }

    }

Дает мне:

"time" : "2012-09-24T03:08:50", "message" : "Call() started"

Вы должны использовать позитивный взгляд и взгляд назад:

(?<=\{)([^\}]+)(?=\})

• (? <= {) Соответствует всему, за которым следует {
• ([^}] +) Соответствует любой строке, не содержащей}
• (? = {) Соответствует всему до {

{} в регулярном выражении имеют особое значение, поэтому их нужно экранировать.

Обычно экранирование достигается за счет того, что перед персонажем следует экранировать с помощью обратной косой черты. В классе символов, определенном в квадратных скобках, вам не нужно делать это

Так что-то вроде

Pattern.compile("\{[^{}]*\}");

Может быть ближе к тому, что вы хотите сделать

Это прекрасно работает для не вложенных скобок, но для таких выражений, как

(sum(x) * 100) / (sum(y) + sum(z))

[a-z]*[\{]+([a-zA-Z0-9]+)[\}]+ работает.