Dit bestand bevat versie informatie voor NLExtract. Versies en snapshots zijn te downloaden via de link: https://github.com/nlextract/NLExtract/releases. De nieuwste versie staat bovenaan: kies de "real-release" nlextract zip. De rest ligt nog open afhankelijk van wensen gebruikers en natuurlijk eventuele bugs. v1.6.0 - geplend Leftovers van vorige versies. Versie nummer nog te bepalen. Zie de Milestone voor deeze versie: https://github.com/nlextract/NLExtract/milestone/19 v1.5.5 - 25 apr 2024 * Fixes op 1.5.4 * BRK-DKK: ETL upgrade v4 naar v5 en GfsPreparationFilter tbv optimalisatie. * Verbeterde/moderne Dockerfile gebaseerd op osgeo/gdal:ubuntu-small-3.8.4 image (Ubuntu 22.04 LTS) * BGT: BGT Lean SQL script voor slankere BGT oa geen "bogen", 1 geometrie per tabel, geen overhead kolommen * BAG: CBS Gemeente provincie koppeling 2024 Zie de closed issues voor deze versie: https://github.com/nlextract/NLExtract/milestone/15?closed=1 v1.5.4 - 9 jan 2023 Vnl fixes op 1.5.3 en daarvan meeste voor BAG versie 2 ETL. Bijvoorbeeld om (onderhoud van) gemeente-provincie koppelingen gelijk als in BAGv1 te doen. Met dank aan @sebastic Zie de closed issues voor deze versie: https://github.com/nlextract/NLExtract/milestone/18?closed=1 v1.5.3 - 22.dec.2021 Vnl fixes op 1.5.2 en daarvan meeste voor BAG versie 2 ETL. Zie de closed issues voor deze versie: https://github.com/nlextract/NLExtract/milestone/17?closed=1 v1.5.2 - 31.mrt.2021 Nieuwe/aparte BAG versie 2 ETL op basis Stetl. Tevens Dockerfile en build-push-on-commit naar DockerHub. Werkt voorlopig alleen/beste met Docker (hoge/laatste GDAL versie nodig). Verder kleine fixes voornamelijk voor BAG (v1), zie Milestone: https://github.com/nlextract/NLExtract/milestone/16?closed=1 v1.5.1 - 2.jan.2021 Voornamelijk BAG update gemeente-koppelingen voor gem. herindelingen 2021 via PR #294 door @sebastic. Zie Milestone: https://github.com/nlextract/NLExtract/milestone/14?closed=1 v1.5.0 - 23.okt.2020 Voornamelijk Py2 naar Py3 migratie via PR #276 (BAG, door @sebastic) en #265 (overige basisregistraties, door @justb4) Verder: BRK Kadastrale Kaart (DKK) ETL: upgrade voor BRK-DKK v4 Zie Milestone: https://github.com/nlextract/NLExtract/milestone/12 v1.4.0 - 17.feb.2020 Zie Milestone: https://github.com/nlextract/NLExtract/milestone/11?closed=1 Algemeen Vervang referenties aan http://www.nlextract/file-cabinet (link rot) bag-extract documentation enhancement #274 by reinvantveer was merged on Dec 20, 2019 • Approved BAG BAG: neem verkorteopenbareruimtenaam op in adres-dumps bag-extract #273 by justb4 was closed on Jan 11 2020 Update gemeente-provincie koppeling voor 2019. bag-extract #255 by sebastic was merged on Oct 18, 2018 Timestamp with timezone in postgres bag-extract bgt-extract brk-extract top10-extract #223 by arjennienhuis was closed on Mar 7, 2018 Set 'actueel' views use now() instead of localtime bag-extract #243 by borrob was merged on Mar 4, 2018 BAG Identifier velden als strings in DB opnemen bag-extract #108 by justb4 was closed on Feb 5, 2018 BAG identifiers naar 16 char strings bag-extract #236 by borrob was merged on Feb 2, 2018 Bag timezone bag-extract #233 by borrob was merged on Jan 23, 2018 update bronhouders per 2018-01-01 bag-extract #230 by leonmvd was merged on Dec 11, 2017 BGT Nieuwe bronhouders bgt per januari 2019 bgt-extract #261 by leonmvd was merged on Dec 15, 2018 Update bronhouders.csv bgt-extract #254 by leonmvd was merged on Oct 1, 2018 Regressie-issue openbareruimtelabels bgt-extract #240 by fsteggink was closed on Apr 23, 2018 Verwijderen bestaande input bij BGT import bgt-extract #205 by skinkie was closed on Mar 8, 2018 Onderscheid geometrietypen? bgt-extract #163 by fsteggink was closed on Mar 1, 2018 BGT Extract: Error verwijderen .gfs bgt-extract #226 by justb4 was closed on Mar 1, 2018 BGT: 2d suffix van tabellen weghalen bgt-extract #237 by fsteggink was closed on Feb 8, 2018 CURVEPOLYGON in BGT-dump bgt-extract #222 by arjennienhuis was closed on Jan 31, 2018 Nummeraanduidingen in BGT hebben geen verwijzing meer naar pand bgt-extract #225 by fsteggink was closed on Jan 31, 2018 Bgt timezone #234 by borrob was merged on Jan 28, 2018 BRT - TOP10NL top10nl: importeerd niet alle objecten top10-extract #232 by VNuhaan was closed on Jan 24, 2018 v1.3.0 - 6.nov.2017 Zie Milestone: https://github.com/nlextract/NLExtract/milestone/9 Issues solved: BAG #218 extra velden BAG adres tabel en in CSV dump bag-extract #224 extra velden BAG adres tabel en in CSV dump en geocoderen van CSV bestanden bag-extract #92 Laden van BAG views duurt lang in QGis bag-extract BGT #210 Lokale wijziging Stetl xmlelementreader.py op data.nlextract.nl? bgt-extract #211 BGT verwerking crash #221 Volledig extract BGT/BRK gebruiken ipv tiles bgt-extract brk-extract BRK #221 Volledig extract BGT/BRK gebruiken ipv tiles bgt-extract brk-extract #204 Gewijzigde download BRK brk-extract #213 BRK ETL fixen voor nieuwe PDOK Downloads per 1.1.17 brk-extract v1.2.1 - 17.okt.2016 Dit is een bugfix release voor 1.2.0. Zie de closed issues voor deze Milestone "Versie 1.2.1" op GitHub: https://github.com/nlextract/NLExtract/milestone/10 v1.2.0 - 5.okt.2016 Wat zit in deze release? Heel veel! Zie de 62 (!) closed issues voor deze Milestone "Versie 1.2.0" op GitHub: https://github.com/nlextract/NLExtract/milestone/8 v1.1.4 - 9.jan.2014 Werd weer tijd, veel fixes, ook veel via Pull requests, dank! Features in: #107 BAG Datumtijd kolommen moeten ook decimale seconden meenemen bag-extract #105 (Her)gebruik database connecties in BAG Extract bag-extract #102 Nevenadressen moeten meegenomen in genereren adres tabel bag-extract #101 BAG - CSV gemeente-provincie koppeling van CBS upgrade van 2012 naar 2013 bag-extract Pull request (Sebastic) tevens upgrade gemeente-provincie koppeling van CBS voor 2014 #99 Indexen op BAG tabellen bag-extract #96 Reverse geocoding functies zijn out-of-date bag-extract #95 Ondersteun PostgreSQL schema voor TOP10NL top10-extract #94 Multipliciteit namen in TOP10NL niet altijd gewenst top10-extract #89 Mysql bag-extract #7 top10-extract.sh - uitgebreidere cmd args en functionaliteit top10-extract Bonne bladen scripts v1.1.3 - 13.dec.2012 Aantal bugfixes op 1.1.2 en verbeteringen in het algemeen. Zie milestone issues die in deze release zitten: https://github.com/nlextract/NLExtract/issues?milestone=6&state=closed Onder andere: Features - Gebruik gemeente-woonplaats koppeltabel uit BAG Levering ipv .csv bag-extract - Adressen met full text index - fuzzy zoeken in tabel "adres" met PostgreSQL tsvector Bugs opgelost - BAG documentdatum is altijd null door typefout in bagattribuut.py (bug) - probe_geometry_columns niet aanroepen indien PostGIS 2.x v1.1.2 - 16.okt.2012 De issues (werk-items) voor deze release zijn hier te vinden: https://github.com/nlextract/NLExtract/issues?milestone=5&state=closed Algemeen - begin gemaakt documentatie op http://nlextract.readthedocs.org BAG Extract - bag-extract.sh werkt niet wanneer aangeroepen via symbolic link (patch) bag-extract - Einddatum gemeente wordt niet verwerkt bag-extract - adres script: gebruik woonplaatsnaam uit nummeraanduiding indien aanwezig bag-extract - probe_geometry_columns niet meer in PostGIS2? - woonplaats-gemeente koppeltabel .csv naar versie van 10 aug 2012 Top10NL Extract - alle scripts in Python (ipv shell en .cmd) - ondersteun nieuwste versie Top10NL 1.1.1 - Voeg XML validator toe voor Top10NL v1.1.1 top10-extract - Top10NL: verwijder dashes '-' uit Python .py file namen top10-extract - Top10NL: voeg test data en tests toe voor Top10NL versie 1.1.1 top10-extract - Top10NL: Er worden geen GFS-bestanden bij verwerking van de september-levering bag-extract - Vervanging e-trema door normale 'e' in Overigrelief top10-extract - Opsplitsen naam / straatnaam kolommen in Nederland en Fries top10-extract v1.1.1 - 20.juni.2012 Vooral bugfixes in BAG-Extract. Top10NL en BGT extractie uitstellen tot v1.1.2 De gesloten issues zijn hier te vinden: https://github.com/nlextract/NLExtract/issues?milestone=4&page=1&state=closed Samengevat: - bugfix waardoor in v1.1.0 multipolygons voor woonplaatsen null waren - geovlak toevoegen aan VIEWs voor Verblijfsobject - warnings weg voor diacritische chars (unicode probleem) - postgresql port parm ignored v1.1.0 - 14.mei.2012 Speedup release voor BAG: nu BAG 3x zo snel inlezen als in v1.0.1! Voornamelijk door gebruik native XML parsing (via lxml) en database inladen via COPY ipv INSERT kan BAG inlezen 3x zo snel als voorheen. Er zijn wel wat externe afhankelijkheden bijgekomen: - lxml en libxml2 (native XML parser lib) - GDAL met Python bindings: Geometrie GML parsen en geometrie validatie/manipulatie (lukt niet in COPY) Sowieso is GDAL met OGR Python-bindings een goede stap voor volgende NLExtract versies. Dit is de eerste versie die GitHub Milestones gebruikt. De naam vd Milestone is het versie nummer (hier v1.1.0). Zie https://github.com/nlextract/NLExtract/issues/milestones?state=closed Alle issues die meegenomen zijn vind je hier: https://github.com/nlextract/NLExtract/issues?milestone=1&state=closed Specifieke issues opgelost in v1.1.0 - BAG: vervangen woonplaats-gemeente koppeltabel 6 maart 2012 door 24 april 2012 - BAG: relaties einddatumtijdvakgeldigheid en actuele VIEWS ontbreken - Mutaties: fout by DB COPY - BAG escape backslashes in strings voor Postgres COPY - gebruik GDAL/OGR Python bindings voor Geometrie parsing/validatie - BAG inlezen: gebruik COPY en cStringIO voor grote snelheidswinst - Geocoding functionaliteit op basis van BAG - adres-tabel.sql DROP ... CASCADE? - adres_voor_xy roept zichzelf aan ipv adressen_voor_xy - BAG MultiSurface wordt niet goed geparsed met XPath - Gewijzigd schema Kadaster CSV woonplaats-gemeente koppeltabel - BAG - LATIN1 encoding gebruikt voor UTF-8 prov/gem CSV - Poort -P parameter wordt niet geparsed - etree (native XML parsing via libxml2) - BAG Foutafhandeling en validatie met logging in datab v1.0.1 - 5.mrt.2012 - BAG: laatste versie voor performance boost door native LXML/Etree XML-parsing! - minor fixes - BAG nieuwste (24jan2012) kadaster-woonplaats-gemeente koppeltabel - BAG: LATIN1/UTF-8 encoding issues opgelost, nu alle bronnen/doelen UTF-8 - start met SQL scripts tbv reverse geocoding op Adres tabel v1.0.0 - 27.feb.2012 - de allereerste versie ! - extraheren BAG en Top10NL - verrijking BAG met gemeenten/provincies - afgeleide BAG tabellen zoals ACN-achtige adressen - visualisaties Top10NL voor met name QGIS Nog veel oudere versies zijn te vinden op: https://github.com/MinIenM/BAG-Extract