Tutorial: Massenzufallsdaten in MySQL erstellen

Dieser Artikel behandelt praktische Techniken zur Generierung großer Mengen zufälliger Testdaten in einer MySQL-Datenbank. Sie lernen, wie Sie gespeicherte Funktionen und Prozeduren erstellen, um Tabellen automatisch mit Tausenden von Datenzeilen zu füllen. Diese Methode ist sehr nützlich für Leistungstests, Lastsimulationen und Anwendungsentwicklung, die realistische Datensätze erfordern.

Die Entwicklung von datenbankbasierten Anwendungen erfordert Tests, die den realen Bedingungen nahekommen. Ein MySQL-Zufallsdaten-Skript ist eine effiziente Lösung zur Erstellung von Testdaten in großem Maßstab. Diese Simulation hilft Entwicklern, die Anwendungsleistung in verschiedenen Szenarien zu messen. Sie können von idealen Bedingungen bis hin zu hohen Lasten testen.

Diese Technik verwendet gespeicherte Prozeduren und benutzerdefinierte MySQL-Funktionen. Dieser Ansatz bietet hohe Flexibilität bei der Bestimmung von Menge und Format der Daten. Darüber hinaus wird der Datenfüllprozess schneller und konsistenter. Manuelle Methoden sind nicht mehr erforderlich, um große Mengen an Testdaten zu erstellen.

Auch lesen: MySQL-Verbindungsfehler effektiv beheben

Schritte zum Erstellen einer Tabelle für Zufallsdaten

Bevor Sie das Skript erstellen, bereiten Sie zunächst die Datenbanktabelle vor. Erstellen Sie eine Tabelle mit einer Struktur, die Ihren Testanforderungen entspricht. Das folgende Beispiel zeigt eine einfache Tabelle mit drei Spalten.

CREATE TABLE `random_data` (
  `id` INT NOT NULL AUTO_INCREMENT PRIMARY KEY,
  `column01` VARCHAR(20) NOT NULL,
  `column02` VARCHAR(20) NOT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

Stellen Sie sicher, dass Sie die richtige Datenbank ausgewählt haben, bevor Sie den obigen Befehl ausführen. Die Spalte id wird als Primärschlüssel mit automatischer Inkrementierung festgelegt. Auf diese Weise erhält jede Datenzeile automatisch einen eindeutigen Identifikator.

Erstellen einer Funktion zur Generierung zufälliger Zeichenketten

Der erste Schritt besteht darin, eine Funktion zu erstellen, die zufällige Zeichenketten generiert. Diese Funktion wird von der Hauptprozedur wiederholt aufgerufen. Hier ist die Implementierung der Funktion random_string, die Sie verwenden können.

DELIMITER $$
CREATE FUNCTION `random_string`(length INT) 
RETURNS VARCHAR(255) DETERMINISTIC
BEGIN
  DECLARE chars VARCHAR(62) DEFAULT 'abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789';
  DECLARE result VARCHAR(255) DEFAULT '';
  DECLARE i INT DEFAULT 0;
  
  WHILE i < length DO
    SET result = CONCAT(result, SUBSTRING(chars, FLOOR(1 + RAND() * 62), 1));
    SET i = i + 1;
  END WHILE;
  
  RETURN result;
END$$
DELIMITER ;

Diese Funktion generiert eine zufällige Zeichenkette, die aus Großbuchstaben, Kleinbuchstaben und Zahlen besteht. Der Parameter length bestimmt die gewünschte Länge der Zeichenkette. Sie können den Zeichensatz nach spezifischen Bedürfnissen anpassen.

Auch lesen: MySQL: Effiziente Datenabfragen mit SELECT

Implementierung über phpMyAdmin

1. Rufen Sie phpMyAdmin auf und wählen Sie Ihre Zieldatenbank aus.
2. Öffnen Sie den Tab „Routinen“ oben in der Oberfläche.
3. Klicken Sie auf die Schaltfläche „Routine hinzufügen“, um eine neue Funktion zu erstellen.
4. Wählen Sie den Typ „FUNKTION“ und geben Sie den obigen Code ein.
5. Speichern Sie die Funktion mit dem Namen random_string.

Erstellen einer Prozedur für Massendateneinfügung

Sobald die Funktion verfügbar ist, erstellen Sie eine gespeicherte Prozedur, die die Massendateneinfügung durchführt. Diese Prozedur verwendet Schleifen, um wiederholt Zeilen hinzuzufügen. Sie können die Anzahl der Iterationen nach Bedarf anpassen.

DELIMITER $$
CREATE PROCEDURE `generate_random_data`(IN row_count INT)
BEGIN
  DECLARE i INT DEFAULT 0;
  
  WHILE i < row_count DO
    INSERT INTO random_data (column01, column02) 
    VALUES (random_string(20), random_string(20));
    SET i = i + 1;
  END WHILE;
END$$
DELIMITER ;

Die obige Prozedur akzeptiert einen Parameter row_count, um die Anzahl der Datenzeilen zu bestimmen. So können Sie Daten in flexiblen Mengen generieren, von Hunderten bis zu Millionen von Zeilen. Diese Prozedur ruft die Funktion random_string für jede Spalte auf, die Zufallsdaten benötigt.

Ausführen der gespeicherten Prozedur

1. Öffnen Sie in phpMyAdmin erneut den Tab „Routinen“.
2. Wählen Sie die Prozedur generate_random_data aus der Liste.
3. Klicken Sie auf die Schaltfläche „Ausführen“ neben dem Prozedurnamen.
4. Geben Sie die gewünschte Anzahl von Zeilen ein, wenn nach dem Parameter gefragt wird.
5. Klicken Sie auf die Schaltfläche „Go“, um die Prozedur auszuführen.

Optimierung und technische Überlegungen

Beim Einfügen sehr großer Datenmengen sollten Sie die folgenden Optimierungen in Betracht ziehen:

• Indizes vorübergehend deaktivieren: Deaktivieren Sie Tabellenindizes vor dem Einfügen und aktivieren Sie sie nach Abschluss wieder. Dies beschleunigt den Masseneinfügungsprozess.
• Einzelne Transaktion verwenden: Beginnen Sie mit START TRANSACTION und beenden Sie mit COMMIT. Diese Technik reduziert den Transaktionsprotokoll-Overhead.
• Stapelverarbeitung: Teilen Sie die Einfügung in mehrere Stapel auf, um Timeouts zu vermeiden und den Fortschritt zu überwachen.
• Ressourcen überwachen: Überwachen Sie die CPU- und Speichernutzung während des Prozesses. Passen Sie die Stapelgröße basierend auf der Serverkapazität an.

Um beispielsweise 1 Million Datenzeilen einzufügen, können Sie diese in 10 Stapel mit jeweils 100.000 Zeilen aufteilen. Auf diese Weise können Sie den Fortschritt überwachen und Ausfälle aufgrund von Timeouts vermeiden.

Auch lesen: [Yii2] Vergleich der Cache-Geschwindigkeit

Indem Sie dieser Anleitung folgen, können Sie ein effektives MySQL-Zufallsdaten-Skript für Testzwecke erstellen. Diese Technik spart nicht nur Zeit, sondern liefert auch realistischere Testdaten. Weitere Informationen zu gespeicherten Prozeduren finden Sie in der offiziellen MySQL-Dokumentation. Führen Sie Tests immer in einer Entwicklungsumgebung durch, bevor Sie sie in der Produktion anwenden.