10 respuestas en este tema

[JoAnCa]

Hola a todos

Pues tengo una aplicacion q importa datos de un archivo de Excel para mi BD MySQL, pero se vuelve un poco lenta al hacerlo, tanto que a veces si trato de mover la ventana por la barra de titulo, se bloquea y no responde, aunque si espero unos minutos, termina el proceso de importación correctamente

 

El archivo de excel lo exporta otra aplicación de un tercero, y de el solo necesito algunas columnas

 

Uso el componente de Excel que viene con Delphi XE7, leo la hoja de Excel y la almaceno en un array, y despues ese array lo guardo en una tabla de mi BD

 

Habra alguna forma de agilizar el proceso de importación?

 

Quizas usando varios hilos, pero nunca he trabajado con hilos. Si esta fuera una solución como lo haria?

 

 

 

Nota:

Le incorporé el componente Apha skin a la aplicación y entonces se puso peor la importación, no se puede ni hacer clic en ninguna parte, pues se "congela" hasta que termina el proceso de importacion

 

 

[enecumene]

Pues utilizando TThread (Hilos) es posible que agilize un poco el proceso combinando la importación de datos por cada x registros en vez de todo de un sólo golpe.

[Marc]

¿ Has comprobado si el problema lo tienes leyendo el Excel o guardando en MySQL (que es lo más probable) ?. Deberías guardar los tiempos que tarda cada proceso para ver donde tienes el cuello de botella.

 

Como probablemente el problema esté en la parte de MySQL, estaría bien que nos enseñes un poco el código que utilizas. Sin saber nada de lo que haces, mis consejos genéricos son que utilices consultas parametrizadas (que no hay que preparar para cada ejecución), que solo confirmes las transacciones cada X registros (sobre los 10.000), y que desactives los triggers antes de insertar registros, así como los índices de las tablas involucradas (recreándolos al final).

 

Lo lógico es que tu cuello de botella sea de este tipo.

[JoAnCa]

Pues utilizando TThread (Hilos) es posible que agilize un poco el proceso combinando la importación de datos por cada x registros en vez de todo de un sólo golpe.

En eso pense, pero como ya comente, nunca he trabajado con Thread

Podrias encaminarme como hacerlo, al menos para tener la idea de  como se hace

[JoAnCa]

¿ Has comprobado si el problema lo tienes leyendo el Excel o guardando en MySQL (que es lo más probable) ?. Deberías guardar los tiempos que tarda cada proceso para ver donde tienes el cuello de botella.

 

Como probablemente el problema esté en la parte de MySQL, estaría bien que nos enseñes un poco el código que utilizas. Sin saber nada de lo que haces, mis consejos genéricos son que utilices consultas parametrizadas (que no hay que preparar para cada ejecución), que solo confirmes las transacciones cada X registros (sobre los 10.000), y que desactives los triggers antes de insertar registros, así como los índices de las tablas involucradas (recreándolos al final).

 

Lo lógico es que tu cuello de botella sea de este tipo.

 

Que casualidad, publicamos el post al mismo tiempo

 

Pues con esto leo del Excel

delphi

//--- Leer los datos del libro de Excel y guardarlos en un array ---
      Sheet.Cells.SpecialCells(xlCellTypeLastCell, EmptyParam).Activate;
      CantRow:=Excel.ActiveCell.Row;
      CantCol:=Excel.ActiveCell.Column;
      RangoMatriz:=Excel.Range['A1', Excel.Cells.Item[CantRow,CantCol]].Value;

Y con esto lo guardo en la BD

delphi

with ModuloBD, ModuloBD.fdtExcelSaldos do
      begin
        pbProgres.Position:=0;    pbProgres.Max:=CantRow;
        for i:=13 to CantRow do
         begin
          lblProgreso.Caption:='Leyendo fila '+ IntToStr(i) +' de '+ IntToStr(CantRow) + ' en: ' + edtArchBalSald.Text + StringOfChar( ' ', 100);
          lblProgreso.Repaint;
          Append;
          for j:=1 to CantCol do
           begin
             if j = 2 then fdtExcelSaldosCuenta.Value:=RangoMatriz[i,j];
             if j = 5 then fdtExcelSaldosDescripcion.Value:=RangoMatriz[i,j];
             if j = 9 then fdtExcelSaldosSaldoInicial.Value:=RangoMatriz[i,j];
             if j = 21 then fdtExcelSaldosSaldoFinal.Value:=RangoMatriz[i,j];
           end;
           Post;
           pbProgres.Position:=i;
           pbProgres.Repaint;
         end;
         Refresh;
      end;

No se si esta será la forma mas optima

[egostar]

Yo agregaría una línea a tu proceso de insertar registros.

delphi

Application.ProcessMessages; 

Y con esto lo guardo en la BD

delphi

with ModuloBD, ModuloBD.fdtExcelSaldos do
      begin
        pbProgres.Position:=0;    pbProgres.Max:=CantRow;
        for i:=13 to CantRow do
         begin
          lblProgreso.Caption:='Leyendo fila '+ IntToStr(i) +' de '+ IntToStr(CantRow) + ' en: ' + edtArchBalSald.Text + StringOfChar( ' ', 100);
          lblProgreso.Repaint;
          Append;
          for j:=1 to CantCol do
           begin
             Application.ProcessMessages; //******** Agregaría ésto *********
             if j = 2 then fdtExcelSaldosCuenta.Value:=RangoMatriz[i,j];
             if j = 5 then fdtExcelSaldosDescripcion.Value:=RangoMatriz[i,j];
             if j = 9 then fdtExcelSaldosSaldoInicial.Value:=RangoMatriz[i,j];
             if j = 21 then fdtExcelSaldosSaldoFinal.Value:=RangoMatriz[i,j];
           end;
           Post;
           pbProgres.Position:=i;
           pbProgres.Repaint;
         end;
         Refresh;
      end;

No se si esta será la forma mas optima

 

 
Saludos

[enecumene]

Primero aplica la recomendación de Egostar, mientras te dejo aquí un ejemplo básico de hilo al vuelo sin probar:

delphi

type
 TTransferencia = class(TThread) //Hilo
   private
     //Aqui pones cualquier variable
     procedure TransferirFromExcel; //Procedimiento, funcion, etc. que hace la migracion 
   protected
     procedure execute; override;
   public
     constructor create; //tambien puedes pasarle parámetros, ejemplo: Create(Nombre: String)
 end;
 
implementation
 
constructor TTransferencia.Create;
begin
  inherited Create(True);
end;
 
procedure TTransferencia.TransferirFromExcel;
begin
  //Proceso de transferencia
end;
 
procedure TTransferencia.Execute;
begin
 Synchronize(TransferirFromExcel); //Aqui ejecutas el procedimiento que hace la migracion
end;

Su modo de uso sería:

delphi

procedure TForm1.Button1Click(Sender: TObject);
var
 Transferir: TTransferencia;
begin
  Transferir.Create; //Recordar que puedes agregar parámetros en su clase, ejemplo: Transferir.Create('archivo excel a cargar');
end;

Saludos

[JoAnCa]

ok, muchas gracias a los dos

Probare y despues les comento

[JoAnCa]

Yo agregaría una línea a tu proceso de insertar registros.

delphi

Application.ProcessMessages; 

 
Saludos

 

Pues agregando esa linea, salio perfecto, ya la aplicacion no se cuelga, incluso puedo acceder a otras pestañas normalmente sin problemas

 

Pero en concreto, que es lo q hace?

Cual es la lógica de esa linea?

[escafandra]

ProcessMessages Permite a la aplicación procesar los mensajes de Windows que están bloqueados al no poder acceder mientras trabaja un bucle pesado. En general sólo debería usarse en momentos muy puntuales siendo preferible el uso de threads para esas tareas pesadas pues te permite seguir con otras tareas de tu aplicación normalmente sin necesidad de esperar a que termine. Cuando el resultado del cálculo es necesario para seguir con otras tareas, deberás implementar un semáforo y una forma de avisar a la app y al usuario que el hilo terminó.

 

Si la tarea es muy crítica, puedes poner una barra de proceso, si no sabes cuanto tardará, puedes poner una barra de progreso infinita como en este ejemplo:

delphi

unit Unit1;
 
interface
 
uses
  Windows, Messages, SysUtils, Variants, Classes, Graphics, Controls, Forms,
  Dialogs, StdCtrls, ComCtrls, ExtCtrls;
 
type
  TForm1 = class(TForm)
    ProgressBar1: TProgressBar;
    Strat: TButton;
    Stop: TButton;
    procedure FormCreate(Sender: TObject);
    procedure StratClick(Sender: TObject);
    procedure StopClick(Sender: TObject);
  private
    { Private declarations }
  public
    { Public declarations }
  end;
 
var
  Form1: TForm1;
 
implementation
 
{$R *.dfm}
 
const PBM_SETMARQUEE = WM_USER + 10;
 
procedure TForm1.FormCreate(Sender: TObject);
begin
   SetWindowLong(ProgressBar1.Handle, GWL_STYLE, GetWindowLong(ProgressBar1.Handle, GWL_STYLE) or PBM_SETMARQUEE);
end;
 
procedure TForm1.StratClick(Sender: TObject);
begin
     SendMessage (ProgressBar1.Handle, PBM_SETMARQUEE, 1, 20);  // Activa 100ms
end;
 
procedure TForm1.StopClick(Sender: TObject);
begin
     SendMessage (ProgressBar1.Handle, PBM_SETMARQUEE, 0, 20);  // Desactiva
end;
 
end.

Saludos.

Archivos adjuntos

•  Marrquee2 delphi.rar   158,76KB   9 descargas

[JoAnCa]

ProcessMessages Permite a la aplicación procesar los mensajes de Windows que están bloqueados al no poder acceder mientras trabaja un bucle pesado. En general sólo debería usarse en momentos muy puntuales siendo preferible el uso de threads para esas tareas pesadas pues te permite seguir con otras tareas de tu aplicación normalmente sin necesidad de esperar a que termine. Cuando el resultado del cálculo es necesario para seguir con otras tareas, deberás implementar un semáforo y una forma de avisar a la app y al usuario que el hilo terminó.
 
...
 
Saludos.

 
Muchas gracias por la explicación, ya me quedo todo claro
 
Tema Resuelto

Editado por JoAnCa, 07 noviembre 2016 - 09:31 .