Вопрос:

System.Data.SQLite медленное выполнение большого скрипта

.net sqlite ado.net system.data.sqlite sqlitestudio

162 просмотра

2 ответа

10 Репутация автора

Я пытаюсь запустить файл SQL из моего приложения .NET, но время выполнения очень медленное. Я не уверен, как оптимизировать его, чтобы он работал быстрее. Я знаю, что скрипт работает, потому что когда я запускаю его в приложении оболочки SQLite, он выполняется менее чем за 1 секунду. В моем приложении .NET он просто висит sqlite_cmd.ExecuteNonQuery().

Вот выдержка из файла script.sql:

--
-- File generated with SQLiteStudio v3.1.1 on Thu Feb 15 11:33:12 2018
--
-- Text encoding used: System
--
PRAGMA foreign_keys = off;
BEGIN TRANSACTION;

-- Table: Document_Type
CREATE TABLE [Document_Type] (
    [Id]    integer PRIMARY KEY AUTOINCREMENT NOT NULL,
    [Type]  nvarchar(50) NOT NULL COLLATE NOCASE

);
INSERT INTO Document_Type (Id, Type) VALUES (1, '.docx');
INSERT INTO Document_Type (Id, Type) VALUES (2, '.xlsm');
INSERT INTO Document_Type (Id, Type) VALUES (3, '.jpeg');

-- Table: Learn_More
CREATE TABLE [Learn_More] (
    [item_ID]   integer PRIMARY KEY AUTOINCREMENT NOT NULL,
    [field_name]    nvarchar(100) COLLATE NOCASE,
    [description]   text(1073741823) COLLATE NOCASE,
    [location]  char(10) COLLATE NOCASE

);
INSERT INTO Learn_More (item_ID, field_name, description, location) VALUES (1, 'System Name', 'Full descriptive name of the system.*      Example: Agency Billing System ', 'SSP1      ');
.
.
.
.
.
COMMIT TRANSACTION;
PRAGMA foreign_keys = on;

Файл script.sql - 35 831 строка. Я планирую очистить типы столбцов после того, как смогу запустить их в .NET.

Мой код .NET:

Dim baseDir As String = Application.UserAppDataPath()
Dim db3Path As String = baseDir + "\Schema Scripts\ProgrammaticallyGenerateDatabase\Test.db3"
Dim sqlPath As String = baseDir + "\Schema Scripts\script.sql"

SQLiteConnection.CreateFile(db3Path)

Dim sqlite_conn = New SQLiteConnection("Data Source= " & db3Path)
Using sqlite_conn
    sqlite_conn.Open()
    Dim sqlite_cmd = sqlite_conn.CreateCommand()
    'Dim sqlite_tran = sqlite_conn.BeginTransaction()

    'Using sqlite_tran

        Using sqlite_cmd
            Try
                sqlite_cmd.CommandText = File.ReadAllText(sqlPath)
                sqlite_cmd.ExecuteNonQuery()

                sqlite_cmd.CommandText = "SELECT Type FROM Document_Type"

                Dim sqlite_datareader = sqlite_cmd.ExecuteReader()
                While (sqlite_datareader.Read())
                    Dim textReader As String = sqlite_datareader.GetString(0)

                    Console.WriteLine(textReader)
                End While
            Catch ex As Exception
                'End Using
                'sqlite_tran.Commit()
            End Try
        End Using
    sqlite_conn.Close()
End Using

Я пытался использовать, File.OpenText(sqlPath).ReadToEnd()но у меня была та же проблема с производительностью.

Любые идеи о том, как ускорить это? Повторим, что тот же файл запускается менее чем за 1 секунду в программе оболочки SQLite с помощью .read script.sqlкоманды.

РЕДАКТИРОВАТЬ:

Это выигрышное приложение. Код выполняется в фоновом потоке и занимает 483801 миллисекунд.

Я придумал решение, которое подходит для моего случая. Запрос теперь выполняется в ~ 700-900 мс. Я просто связываю sqlite3.exe с моим приложением и вызываю его из командной строки.

Вот код:

Private Sub SQLiteButtonPress()
        Dim baseDir As String = Application.UserAppDataPath() + "\Schema Scripts"
        Dim db3Path As String = baseDir + "\ProgrammaticallyGenerateDatabase\Test.db3"
        Dim sqlPath As String = baseDir + "\Baseline Schema.sql"

        Dim watch = System.Diagnostics.Stopwatch.StartNew()
        Console.WriteLine("Starting Stopwatch")

        Try
            Dim proc As New System.Diagnostics.ProcessStartInfo()
            proc.Arguments = "/c sqlite3.exe """ + db3Path + """ < """ + sqlPath + """"
            proc.FileName = "cmd.exe"
            proc.UseShellExecute = False
            proc.CreateNoWindow = True

            Dim p As New Process()
            p.StartInfo = proc
            p.Start()
            p.WaitForExit()

            Dim sqlite_conn = New SQLiteConnection("Data Source= " & db3Path)
            Using sqlite_conn
                sqlite_conn.Open()
                Dim sqlite_cmd = sqlite_conn.CreateCommand()

                Using sqlite_cmd
                        sqlite_cmd.CommandText = "SELECT Type FROM Document_Type"

                        Dim sqlite_datareader = sqlite_cmd.ExecuteReader()
                        While (sqlite_datareader.Read())
                            Dim textReader As String = sqlite_datareader.GetString(0)

                            Console.WriteLine(textReader)
                        End While
                End Using
                sqlite_conn.Close()
            End Using

        Catch ex As Exception
            Throw ex
        End Try

        watch.Stop()
        Dim elapsedMs = watch.ElapsedMilliseconds
        Console.WriteLine("Finished Stopwatch: " & elapsedMs & "ms")
    End Sub
Автор: Dillon Connolly Источник Размещён: 15.02.2018 09:42

Ответы (2)


0 плюса

11 Репутация автора

У меня такая же проблема. Совет от @MarkBenningfield решил проблему. Как он упомянул, разбейте ваш скрипт на точку с запятой и выполняйте каждый оператор отдельно в цикле. После этого все прошло очень быстро для меня.

Автор: Darkhan Zholmukhanov Размещён: 18.01.2019 08:42

0 плюса

18 Репутация автора

По какой-то причине библиотека .NET SQLite не выполняет большие запросы в одной строке очень быстро, даже если вы включаете каждую массовую вставку в транзакцию; или обернуть весь вызов метода «ExeecuteNonQuery» внутри транзакции.

Вышеупомянутое решение работает, разбейте ваш большой файл SQL на отдельные операторы, выполните их все в транзакции и затем подтвердите. Таким образом я смог загрузить 15 000 записей в экземпляр SQLite на основе памяти за 0,22 секунды.

Приветствия.

Автор: Matt Drouillard Размещён: 21.03.2019 12:24
Вопросы из категории :
32x32