Merge branch 'fronkdev' into 'master'

premstaetten rimo import update 2023-05-26

See merge request fronk/thetool!23

application/ADBWohneinheit/ADBWohneinheitModel.php

@@ -137,9 +137,13 @@ class ADBWohneinheitModel {
     $where = "1=1 ";
     
     if(array_key_exists("extref", $filter)) {
-      $extref = FronkDB::singleton()->escape($filter['extref']);
-      if($extref) {
-        $where .= " AND Wohneinheit.`extref` = '$extref'";
+      if($filter['extref'] === null || $filter['extref'] === false) {
+        $where .= " AND (Wohneinheit.`extref` IS NULL OR Wohneinheit.`extref` = '')";
+      } else {
+        $extref = FronkDB::singleton()->escape($filter['extref']);
+        if($extref) {
+          $where .= " AND Wohneinheit.`extref` = '$extref'";
+        }
       }
     }
     
@@ -163,7 +167,9 @@ class ADBWohneinheitModel {
     
     if(array_key_exists("num", $filter)) {
       $num = $filter['num'];
-      if(is_numeric($num)) {
+      if($num === false || $num === null) {
+        $where .= " AND (Wohneinheit.num IS NULL OR Wohneinheit.num = 0)";
+      } elseif(is_numeric($num)) {
         $where .= " AND Wohneinheit.num=$num";
       } elseif(is_array($num) && count($num)) {
         $where .= " AND Wohneinheit.num IN (". implode(",", $num).")";
@@ -205,12 +211,12 @@ class ADBWohneinheitModel {
     if(array_key_exists("zusatz", $filter)) {
       $zusatz = FronkDB::singleton()->escape($filter['zusatz']);
       if(strlen($zusatz)) {
-        $where .= " AND Wohneinheit.`zusatz` = '$zusatz'";
+        $where .= " AND Wohneinheit.`zusatz` LIKE '$zusatz'";
       } else {
         $where .= " AND (Wohneinheit.`zusatz` IS NULL OR Wohneinheit.`zusatz` = '')";
       }
     }
-    
+
     if(array_key_exists("nutzung", $filter)) {
       $nutzung = FronkDB::singleton()->escape($filter['nutzung']);
       if(strlen($nutzung)) {

scripts/addressdb/premstaetten/01-addressdb_update_buildings.php

@@ -0,0 +1,295 @@
+#!/usr/bin/php
+<?php
+
+//require 'vendor/autoload.php';
+require("../../../config/config.php");
+
+define('FRONKDB_SQLDEBUG',false);
+error_reporting(E_ALL & ~(E_NOTICE | E_STRICT | E_DEPRECATED));
+
+require_once(LIBDIR."/mvcfronk/mfRouter/mfRouter.php");
+require_once(LIBDIR."/mvcfronk/mfBase/mfBaseModel.php");
+require_once(LIBDIR."/mvcfronk/mfBase/mfBaseController.php");
+
+$me = new User(1);
+
+$filename = __DIR__."/import/SDIBuilding__Locations__FTTx__ PremNord_20230526.csv";
+
+$db = FronkDB::singleton(ADDRESSDB_DBHOST, ADDRESSDB_DBUSER, ADDRESSDB_DBPASS, ADDRESSDB_DBNAME);
+$log = mfLoghandler::singleton();
+
+$input = fopen($filename, "r");
+
+$h_extrefs = [];
+
+//$gemeinde_id = 1448;
+$netzgebiet = new ADBNetzgebiet(2);
+$default_plz = "8141";
+$default_freigabe = json_encode(["interest", "provision", "order", "reorder"]);
+
+$hu = 0;
+$c = 0;
+$w = 0;
+
+$i = 0;
+while($csv = fgetcsv($input, 0, ";")) {
+  $i++;
+  if($i == 1) continue;
+  
+  
+  $hausnummer = false;
+  
+  if(!trim($csv[1])) {
+    continue;
+  }
+  
+  //echo implode(", ", $csv)."\n";
+  $gem_kz = trim($csv[61]);
+  $gem_name = trim($csv[60]);
+  //$ort_kz = trim($csv[2]);
+  $plz_name = trim($csv[89]);
+  if(!$plz_name) {
+    $plz_name = $default_plz;
+  }
+  $ort_name = trim($csv[32]);
+  $strasse_hausnummer = trim($csv[23]);
+  $hausnummer_extref = trim($csv[65]);
+  if(in_array($hausnummer_extref, $h_extrefs)) {
+    die("Hausnummer extref doppelt!\n");
+  }
+  $h_extrefs[] = $hausnummer_extref;
+
+  $lat = str_replace(",",".",trim($csv[10]));
+  $long = str_replace(",",".",trim($csv[11]));
+
+
+  //var_dump($netzgebiet);exit;
+
+  $nutzung = trim($csv[31]);
+  //$funktion = trim($csv[6]);
+  /*if($nutzung != "Greenfield" && $funktion == "Greenfield") {
+    $nutzung = "Greenfield";
+  }*/
+
+  $unit_count = $csv[79];
+  if(!$unit_count) $unit_count = 1;
+  
+  $adrcd = false;
+  $adr = trim($csv[47]);
+  $adr_parts = explode("-", $adr);
+  if(count($adr_parts)) {
+    $adrcd = $adr_parts[0];
+  }
+
+  if($adr == "5854606-2" || $adr == "5854601-3" || $adr == "5854601-4") {
+    $adrcd = false;
+  }
+  
+  if(!$strasse_hausnummer) continue;
+
+  //echo "strasse: $strasse\n";
+  //echo "strasse_building: $strasse_building\n";
+  
+  
+  $strasse_name = "";
+  $hausnummer_name = "";
+  $addresszusatz = "";
+
+  $m = [];
+  // (?:\s+((?:gesch(?:ae|ä)ft|betrieb und wohnungen|paketlogistik|cafe|pavillon|pfarrheim|[^ ]*haus|[^ ]*geb(?:ae|ä)ude|[^ ]*halle)(?:\s+[a-z0-9]+)?))?
+  if(preg_match('/^(\D+)\s+(\d+[a-z0-9\/&#._-]*)(?:\s+((?:gesch(?:ae|ä)ft|werkstatt|betrieb und wohnungen|stg|paketlogistik|cafe|pavillon|pfarrheim|[^ ]*haus|[^ ]*geb(?:ae|ä)ude|[^ ]*halle|[^ ]*schule|Öhlmühle)(?:\s+[a-z0-9]+)?))?/i', $strasse_hausnummer, $m)) {
+    $strasse_name = trim($m[1]);
+    $hausnummer_name = trim($m[2]);
+    if(array_key_exists(3, $m)) {
+      $addresszusatz = trim($m[3]);
+    }
+  } elseif(preg_match('/^(.+)\s+(\d+[a-z0-9\/&#._-]*)(.+)?/i', $strasse_hausnummer, $m)) {
+    $strasse_name = trim($m[1]);
+    $hausnummer_name = trim($m[2]);
+    if(array_key_exists(3, $m)) {
+      $addresszusatz = trim($m[3]);
+    }
+  } elseif(preg_match('/^(.+)/i', $strasse_hausnummer, $m)) {
+    // ignore GST objects
+    continue;
+    $strasse_name = trim($m[1]);
+  }
+  
+  
+  if($strasse_name == "Dr.Karl-Renner-Weg") $strasse_name = "Dr.-Karl-Renner-Weg";
+  if($strasse_name == "Doktor-Karl-Renner-Weg") $strasse_name = "Dr.-Karl-Renner-Weg";
+  if($strasse_name == "Bierbaumer Strasse") $strasse_name = "Bierbaumerstrasse";
+  if(!$ort_name && $adrcd == "7571478") $ort_name = "Hautzendorf";
+  if($strasse_name == "GST" && !$adrcd) continue;
+  if(preg_match('/^L\d+/',$strasse_name) && !$adrcd) continue;
+  
+  if(!$strasse_name && $nutzung != "Greenfield") {
+    die("Unbekanntes Adressformat\n");
+  }
+  
+  if($ort_name == "Oberpremstaetten") $ort_name = "Oberpremstätten";
+  
+  
+  if(!$gem_name || !$plz_name || !$ort_name || !$strasse_name) {
+    die("!! Konnte Adresse nicht parsen (zeile $i: $gem_name || $plz_name || $ort_name || $strasse_name)\n");  
+  }
+  
+  if(!$hausnummer_extref) {
+    die("!!! Keine Hausnummer Extref\n");
+  }
+
+  
+  $gemeinde = ADBGemeindeModel::getFirst(["kennziffer" => $gem_kz]);
+  if(!$gemeinde) {
+    echo "Gemeinde $gem_name $gem_kz nicht gefunden\n";
+    continue;
+  }
+  $gemeinde_id = $gemeinde->id;
+  
+  //if($nutzung == "Greenfield") continue;
+  
+  //continue;
+  // find address in AddressDB and update extrefs
+
+ 
+  $strasse_name = $db->escape($strasse_name);
+  $hausnummer_name = $db->escape($hausnummer_name);
+  
+  if($adrcd) {
+    // get Hausnummer to update
+    $hausnummer = ADBHausnummerModel::getFirst(['adrcd' => $adrcd]);
+    if(!$hausnummer) {
+      //echo "Hausnummer adrcd $adrcd not found\n";
+    } else {
+      //echo "Hausnummer adrcd $adrcd gefunden!\n";
+    }
+  }
+  
+  
+  if(!$hausnummer) {
+    // search Hausnummer
+    $strasse_search = [$strasse_name];
+
+    if(strpos($strasse_name, ' ') !== false) $strasse_search[] = str_replace(' ', '-', $strasse_name);
+    if(strpos($strasse_name, '-') !== false) $strasse_search[] = str_replace('-', ' ', $strasse_name);
+    if(strpos($strasse_name, '.') !== false) $strasse_search[] = str_replace('.', '. ', $strasse_name);
+    if(strpos($strasse_name, '.') !== false) $strasse_search[] = str_replace('.', '.-', $strasse_name);
+    if(strpos($strasse_name, '. ') !== false) $strasse_search[] = str_replace('. ', '.', $strasse_name);
+    if(strpos($strasse_name, '. ') !== false) $strasse_search[] = str_replace('. ', '.-', $strasse_name);
+    if(strpos($strasse_name, '.') !== false) $strasse_search[] = str_replace('.-', '.', $strasse_name);
+    if(strpos($strasse_name, '.') !== false) $strasse_search[] = str_replace('.-', '. ', $strasse_name);
+
+    foreach($strasse_search as $search) {
+      if(strpos($search, 'ß') !== false) $strasse_search[] = str_replace('ß', 'ss', $search);
+      if(strpos($search, 'ä') !== false) $strasse_search[] = str_replace('ä', 'ae', $search);
+      if(strpos($search, 'ö') !== false) $strasse_search[] = str_replace('ö', 'oe', $search);
+      if(strpos($search, 'ü') !== false) $strasse_search[] = str_replace('ü', 'ue', $search);
+
+      if(strpos($search, 'ss') !== false) $strasse_search[] = str_replace('ss', 'ß', $search);
+      if(strpos($search, 'ae') !== false) $strasse_search[] = str_replace('ae', 'ä', $search);
+      if(strpos($search, 'oe') !== false) $strasse_search[] = str_replace('oe', 'ö', $search);
+      if(strpos($search, 'ue') !== false) $strasse_search[] = str_replace('ue', 'ü', $search);
+    }
+
+
+    $sql = "SELECT * FROM view_hausnummer WHERE gemeinde_id = $gemeinde_id AND strasse IN ('". implode("', '", $strasse_search)."') AND hausnummer='$hausnummer_name'";
+    //echo "$sql\n";
+    /*if(preg_match('/^Tobelbader/i',$strasse_name)) {
+      echo "$sql\n";
+    }*/
+    $res = $db->query($sql);
+
+    if($db->num_rows($res)) {
+      // get Hausnummer to update
+      //echo "Hausnummer per Suche gefunden\n";
+      $data = $db->fetch_object($res);
+      $hausnummer = new ADBHausnummer($data->hausnummer_id);
+    } else {
+      // hausnummer anlegen
+      //echo "hausnummer anlegen\n";
+      
+      
+      
+      $strasse = ADBStrasseModel::getFirst(["gemeinde_id" => $gemeinde_id, "name" => $strasse_name]);
+      if(!$strasse) die("Strasse $strasse_name (gemeinde_id $gemeinde_id; gem_kz $gem_kz) nicht gefunden\n");
+      
+      $plz = ADBPlzModel::getFirst(["gemeinde_id" => $gemeinde_id, "plz" => $plz_name]);
+      if(!$plz) die("PLZ $plz_name nicht gefunden\n");
+      
+      $ortschaft = ADBOrtschaftModel::getFirst(["gemeinde_id" => $gemeinde_id, "name" => $ort_name]);
+      if(!$ortschaft) die("$strasse_hausnummer: ortschaft $ort_name nicht gefunden\n");
+      
+      $hausnummer_data = [
+        "netzgebiet_id" => $netzgebiet->id,
+        "adrcd" => ($adrcd) ? $adrcd : null,
+        "extref" => $hausnummer_extref,
+        "ortschaft_id" => $ortschaft->id,
+        "plz_id" => $plz->id,
+        "strasse_id" => $strasse->id,
+        "hausnummer" => $hausnummer_name,
+        "zusatz" => ($addresszusatz) ? $addresszusatz : null,
+        "gps_lat" => $lat,
+        "gps_long" => $long,
+        "unit_count" => ($unit_count) ? $unit_count : 1,
+        "freigabe" => $default_freigabe,
+      ];
+      $hausnummer = ADBHausnummerModel::create($hausnummer_data);
+      //var_dump($hausnummer);exit;
+      $hausnummer->save();
+      $c++;
+      continue;
+    }
+    
+  }
+  
+  //echo "Hausnummer extref: \033[1m$hausnummer_extref\033[0m | gem: \033[1m$gem_name\033[0m | plz: \033[1m$plz_name\033[0m | ort: \033[1m$ort_name\033[0m | strasse: \033[1m$strasse_name\033[0m | hausnummer: \033[1m$hausnummer_name\033[0m |";
+  //echo "Zusatz: \033[1m$addresszusatz\033[0m | (\033[1m$nutzung\033[0m) | ADRCD: \033[1m$adrcd\033[0m\n";
+
+  //var_dump($hausnummer);exit;
+  //continue;
+  if($hausnummer->netzgebiet_id != $netzgebiet->id) {
+    $hausnummer->netzgebiet_id = $netzgebiet->id;
+    //$hausnummer->save();
+  }
+  if($hausnummer->extref != $hausnummer_extref) {
+    $hausnummer->extref = $hausnummer_extref;
+    //$hausnummer->save();
+  }
+  if($lat && $long) {
+    $hausnummer->gps_lat = (float)$lat;
+    $hausnummer->gps_long = (float)$long;
+  }
+  $hausnummer->freigabe = $default_freigabe;
+  $hausnummer->save();
+  $hu++;
+  
+
+  
+  $existing_units_count = ADBWohneinheitModel::count(["hausnummer_id" => $hausnummer->id]);
+  //echo "$existing_units_count\n";
+  
+  if(!$existing_units_count) {
+    $hausnummer->unit_count = $unit_count;
+    // create units
+    
+    for($u = 0; $u < $unit_count; $u++) {
+      $num = $u + 1;
+
+      $wohneinheit_data = [
+        'hausnummer_id' => $hausnummer->id,
+        'num' => $num,
+        'tuer' => ($unit_count > 1) ? $num : null
+      ];
+
+      $wohneinheit = ADBWohneinheitModel::create($wohneinheit_data);
+      //continue;
+      $wohneinheit->save();
+      $w++;
+    }
+  }
+  
+  
+  
+}
+
+echo "Created $c Haunusmmern, updated $hu Hausnummern, created $w Wohneinheiten\n";

scripts/addressdb/premstaetten/02-addressdb_update_wohneinheiten.php

@@ -0,0 +1,178 @@
+#!/usr/bin/php
+<?php
+
+//require 'vendor/autoload.php';
+require("../../../config/config.php");
+
+define('FRONKDB_SQLDEBUG',false);
+error_reporting(E_ALL & ~(E_NOTICE | E_STRICT | E_DEPRECATED));
+
+require_once(LIBDIR."/mvcfronk/mfRouter/mfRouter.php");
+require_once(LIBDIR."/mvcfronk/mfBase/mfBaseModel.php");
+require_once(LIBDIR."/mvcfronk/mfBase/mfBaseController.php");
+
+$me = new User(1);
+
+$filename = __DIR__."/import/SDIHome__Homes_ PremNord_20230526.csv";
+
+$db = FronkDB::singleton(ADDRESSDB_DBHOST, ADDRESSDB_DBUSER, ADDRESSDB_DBPASS, ADDRESSDB_DBNAME);
+$log = mfLoghandler::singleton();
+
+$input = fopen($filename, "r");
+
+$hausnummer_extref_trans = [
+  "25010593" => "25012203",
+  "25010595" => "25012618",
+  "25011458" => "25012618",
+  "25010631" => "25011862",
+  "25010646" => "25137021",
+  "25012279" => "25012281",
+  "25012280" => "25012281",
+  "25010665" => "25012281",
+  "25010712" => "25011459",
+  "25010755" => "25013165",
+  "25012153" => "25012159",
+  "25012155" => "25012159",
+  "25012157" => "25012159",
+  "25012262" => "25012676",
+  
+  
+];
+
+$wohnextref_zusatz = [
+    "SDIHome_92719443457_1666705401" => "Pfarrheim",
+
+  ];
+
+$current_wohneinheit_nums = [];
+
+$i = 0;
+while($csv = fgetcsv($input, 0, ";")) {
+  $i++;
+  if($i == 1) continue;
+  
+  if(!trim($csv[1])) {
+    continue;
+  }
+  
+  $zusatz = false;
+  $wohneinheit_extref = trim($csv[37]);
+  $hausnummer_extref = trim($csv[35]);
+  $building_string = trim($csv[25]);
+  
+  $adresse = "";
+  
+  $m = [];
+  if(preg_match('/\[([^\]]+)\]/', $building_string, $m)) {
+    $adresse = $m[1];
+  }
+  
+  
+  if(array_key_exists($hausnummer_extref, $hausnummer_extref_trans)) {
+    $hausnummer_extref = $hausnummer_extref_trans[$hausnummer_extref];
+  }
+  
+  if($hausnummer_extref == "25010649") continue;
+  
+  $hausnummer = ADBHausnummerModel::getFirst(['extref' => $hausnummer_extref]);
+  if(!$hausnummer) {
+    if(preg_match('/(GST |^L\d)/', $adresse)) continue;
+    if($adresse) {
+      die("Hausnummer $hausnummer_extref nicht gefunden\n");
+    } else {
+      continue;
+    }
+  }
+  
+  
+  if(array_key_exists($wohneinheit_extref, $wohnextref_zusatz)) {
+    $zusatz = $wohnextref_zusatz[$wohneinheit_extref];
+  }
+  
+  if(array_key_exists($hausnummer_extref, $current_wohneinheit_nums)) {
+    $current_wohneinheit_nums[$hausnummer_extref]++;
+  } else {
+    $current_wohneinheit_nums[$hausnummer_extref] = 1;
+  }
+  
+  
+  // get last wohneinheit
+  $num = $current_wohneinheit_nums[$hausnummer_extref];
+  
+  $unit_count = ADBWohneinheitModel::count(["hausnummer_id" => $hausnummer->id]);
+  if($num > $unit_count) {
+    $last_we = getLastWohneinheit($hausnummer->id);
+    if($last_we) {
+      $num = ($last_we->num) ? $last_we->num + 1 : 1;
+    }
+    //var_dump($current_wohneinheit_nums[$hausnummer_extref]);
+    $wohneinheit_data = [
+      'extref' => $wohneinheit_extref,
+      'hausnummer_id' => $hausnummer->id,
+      'num' => $num,
+      'zusatz' => ($zusatz) ? $zusatz : null
+    ];
+    
+    $wohneinheit = ADBWohneinheitModel::create($wohneinheit_data);
+    $wohneinheit->save();
+  } else {
+    $wohneinheit = ADBWohneinheitModel::getFirst(['hausnummer_id' => $hausnummer->id, "extref" => $wohneinheit_extref]);
+    if($wohneinheit) continue; // unit with extref exists so continue
+    
+    if($hausnummer_extref == "25012281") {
+      $zusatz = "Haus ".(ceil($num / 12))." Top $num";
+      echo "$num: $zusatz\n";
+      $wohneinheit = ADBWohneinheitModel::getFirst(['hausnummer_id' => $hausnummer->id, "zusatz" => $zusatz]);
+      if(!$wohneinheit) {
+        echo "top not found\n";
+      }
+    }
+    
+    if($hausnummer_extref == "25012159") {
+      $m = [];
+      if(preg_match('/^Hauptstr.+Stg (\d+)/',$adresse, $m)) {
+        $stiege = $m[1];
+        if(!$stiege) die("Stiege nicht gefunden\n");
+        $wohneinheit = ADBWohneinheitModel::getFirst(['hausnummer_id' => $hausnummer->id, "zusatz" => "Stg. $stiege %", "extref" => null]);
+        $wohneinheit->stiege = $stiege;
+      } else {
+        die("no match: $adresse\n");
+      }
+    }
+    
+    if(!$wohneinheit) {
+      // get unit with num
+      $wohneinheit = ADBWohneinheitModel::getFirst(['hausnummer_id' => $hausnummer->id, "num" => $num]);
+    }
+    // else get unit without num nor extref
+    if(!$wohneinheit) {
+      $wohneinheit = ADBWohneinheitModel::getFirst(['hausnummer_id' => $hausnummer->id, "num" => null, "extref" => null]);
+    }
+  }
+  
+  if(!$wohneinheit) {
+    echo "Keine passende Wohneinheit gefunden für $hausnummer_extref ($num)\n";
+    exit;
+  }
+  
+  if(!$wohneinheit->extref) {
+    $wohneinheit->extref = $wohneinheit_extref;
+    //var_dump("UPDATE UNIT",$wohneinheit);exit;
+    $wohneinheit->save();
+    //exit;
+  }
+  //continue;
+  //var_dump($wohneinheit);exit;
+  
+  
+}
+
+function getLastWohneinheit($hausnummer_id) {
+  global $db;
+  $sql = "SELECT * FROM Wohneinheit WHERE hausnummer_id = $hausnummer_id ORDER BY num DESC LIMIT 1";
+  $res = $db->query($sql);
+  if($db->num_rows($res)) {
+    return new ADBWohneinheit($db->fetch_object($res));
+  }
+  return false;
+}