Oc: Unterschied zwischen den Versionen

Aus OrgaMon Wiki
Zur Navigation springen Zur Suche springen
Zeile 241: Zeile 241:
* xml Dateien werden oft zur Datenhaltung von 2D Daten benutzt. Diese würden sich also auch als Tabelle abbilden lassen. Eine Konvertierung zu einer csv ist in diesem Fall möglich.  
* xml Dateien werden oft zur Datenhaltung von 2D Daten benutzt. Diese würden sich also auch als Tabelle abbilden lassen. Eine Konvertierung zu einer csv ist in diesem Fall möglich.  


# Erstellen Sie ein eine "Mappings.txt" mit dem einzigen Inhalt
* Erstellen Sie ein eine "Mappings.txt" mit dem einzigen Inhalt


DEBUG=JA
DEBUG=JA


# Starten Sie Oc und öffnen SIe nun Mappings.tmp und Mappings.txt
* Starten Sie Oc und öffnen Sie nun Mappings.tmp und Mappings.txt





Version vom 14. März 2016, 09:28 Uhr

Oc steht für Orientation Convert. Es ist ein Open-Source Tool, das Daten in horizontaler Ausrichtung (z.B. ein Text) in vertikale Spalten ausrichtet. Auch die Übertragung von einzelnen xls Spalten in andere ist möglich. ".txt", ".csv" und ".xls" wird nativ unterstützt.

Download

Die Open-Source Anwendung incl. Quelltexte kann man hier downloaden:

http://cargobay.orgamon.de/Oc.html

.txt nach .xls Konverter

Quelle ".txt": Trenner ist hier " - "

.xls nach .xml Konverter

ohne Vorlage.ml

in diesem Modus wird aus einem Auftrag (EXPORT*.xml) und einer Ergebnis xls-Datei eine xml-Datei erzeugt.

mit Vorlage.ml

vordefinierte Variable

~AusgabeDatum~
~AusgabeTAN~
~AusgabeUhr~
~Anlagenverzeichnis~

Verarbeitungs/Formatier Zusätze

das XML-Gerüst wird in der Vorlage.ml gespeichert. Mit

~VariablenName~[ { "!" ["Komma", "Boolean", "Nulln", "Zeit", "^Y"] }

können Werte in dieses Gerüst eingesetzt werden. Der Wert für VariablenName wird aus der Spaltenüberschrift "VaraiblenName" entnommen.

  • !1 nur der erste Teil einer ","-speparierten Liste
  • !Komma eine Zahl wird immer als ISO-Kommazahl ausgegeben (mit "." als Komma Symbol)
  • !EchtesKomma eine Zahl wird immer als deutsche Kommazahl ausgegeben (mit "," als Komma Symbol)
  • !Boolean eines aus 'xXyYjJ1' wird in true umgesetzt, Rest in false
  • !Nulln z.B. !Null8 Zahl wird immer 8 stellig ausgegebn, ggf wird mit führenden '0'en aufgefüllt. Für n kann man die Ziffern 1 bis 9 oder A (für 10) bis F (für 15) einsetzen.
  • !Zeit Zeitangabe wird als HH:MM:SS ausgegeben
  • !ZeitDefault wie Zeit, jedoch wenn keine Zeit angegeben ist wird 12:00:00 ausgegeben
  • !Datum Datum im Format JJJJ-MM-TT
  • !Zeitstempel Datum+Uhrzeit wird als 2015-05-11T10:02:13 ausgegeben. "JJJJ-MM-TT\THH:MM:SS"
  • !^Y Zeile wird gelöscht sobald der Variablenwert leer ist
  • !^T Zeile wird von doppelten Blanks entledigt
  • !Base64 die als Dateinamen definierte Datei wird base64 codiert eingefügt

Eine Datei Schema.xsd kann zur Schema-Prüfung bereitgestellte werden.

.xls nach .csv Konverter

Die Quelle ist dabei eine ".xls"-Datei. Dieser Modus wird über das Kontextmenü im Windows Explorer angesprochen, sobald man die Menü-Option "speichern als csv" auswählt. csv ist eine Semikolon (in USA "comma separated values") separierte Textdatei und in der Weiterverarbeitung (automatisierter Import) usw. leicht zu handhaben.

Fixed-Formats.ini

  • Durch die Konfigurationsdatei "Fixed-Formats.ini" kann Oc gezwungen werden, einzelne Spalten vor Ausgabe in die csv-Datei in ein Sonderformat zu konvertieren. Im Moment sind folgende Sonderformate konfiguriert:

Parameter

// Legt das Trennungszeichen fest, das in der 
// Datei verwendet wird.
//
// default = ;
Separator=|   

// Kann die Ausgabe der ersten Zeile (oft Kopfzeile) verhindern
// 
// default = NEIN
NoHeader=JA

// Kann die Ausgabe ab einer bestimmten Spalte stoppen
//
// default = Unbegrenzt
MaxColumn=76

// Beachtet, wie Excel die Zellen darstellt
//
// default = NEIN
respectFormats=JA

// Einfluss auf den Ausgabe-Dateinamen
//
// default= <Eingabe-Dateinamen>.csv
FileName=foo.csv

// Eine Referenz-Datei bereithalten
//
// default=
Auftrag=
AuftragReferenzSpalten=

Feld-Formatierungen

  • Ausgabe mit 5 Nachkommastellen und "." als Komma

 <Feldname1>=#.#####
 <Feldname2>=#.#####

  • Ausgabe mit führenden Nullen auffüllen

// n gibt als Ganzzahl die Gesamtlänge an
<Feldname1>=0n


  • Datum in ein gewisses Format zwingen

<Feldname1>=TTMMJJ

  • Länge eines Feldes beschränken

 "Max"<Feldname1>=4

  • Konstante

<Feldname1>='ABC


  • Wert aus einer anderen Spalte holen, falls eigener Inhalt leer

"Alternative_"<Feldname1>=<Feldname2>

  • Spalte formatieren

"Column_"<NummerDerSpalte>=<Formatierung>

Beispiel

ZaehlerStandNeu=#.#####
ZaehlerStandAlt=#.#####

Feld-Konstanten

Unabhängig vom Quell-Wert kann direkt eine Konstante in eine Spalte ausgegeben werden. Vor die Konstante muss das Zeichen "'" gesetzt werden.

FeldName='0815


Feld-Filter

  • damit können unerwünschte Zeichen aus Feldinhalten entfernt werden ("+" Filter).

FeldName=+G-

  • alternativ können Feldinhalte auf einen genau bezeichneten Zeichvorrat beschränkt werden ("-" Filter).

FeldName=-0123456789


Felder zusammenfügen

  • Verbinden von benachbarten Spalten
  • Durch Angabe einer Spaltennummer kann der Feldtrenner, der die beiden Benachbarten Spalten trennt unterdrückt werden. Dadurch werden benachbarte Spalten zu einer Spalte zusammengefügt
  • Die Angabe der Spaltennummern, die verbunden werden sollen muss 3 stellig erfolgen, die erste Spalte hat Nummer 000
  • ACHTUNG: Pro Nummer werden 2 Spalten zusammengefügt
  • ACHTUNG: Es verschiebt sich nach hinten nichts, also immer die Spaltennummern aus Sicht der Original-Datei vergeben

JoinColumn=NNN,NNN,NNN ...

xls Umsetzer mit Vorlage.xls

Oc kann dazu dienen einzelne Datenspalten aus einer XLS Quelle in eine neues XLS-Dokument zu kopieren. Dabei kann Oc folgende Operationen ausführen:

  • es können XLS Spalten in eine andere Reihenfolge gebracht werden
  • es können Spalten weggelassen werden
  • es können andere oder keine Spaltenüberschriften verwendet werden
  • es können mehrzeilige Spaltenüberschriften verwendet werden

Funktionsweise

Die Quelldatei "Namen.xls" muss Spaltenüberschriften in der ersten Zeile haben. Diese Spaltenüberschriften haben eine zentrale Funktion in der Vorlage.xls. Die Vorlage.xls beschreibt Reihenfolge und Umfang aller einzelnen Spalten.

  • In der ersten Zeile der Vorlage werden die zukünftigen Spaltenüberschriften angegeben, diese können völlig anders lauten als die der Quelldatei. Diese Zeile kann auch entfallen.
  • Die 2. Zeile ist eine Beispielzeile in der für jede Zelle eine passendes Format eingerichtet werden sollte. Das Format jeder einzelnen Zelle wird in die Datenspalte der Ausgabe übernommen.
  • Die 3. Zeile enthält nun die Spaltenüberschriften der Quell-Datei. Dadurch können Sie per Querverweis angeben welche Datenspalte an diese Stelle eingesetzt werden soll. Neben der 1:1 Übernahme von Spalten können auch z.B. feste Werte übernommen werden.


Es folgen die Möglichkeiten im Einzelnen:

Spalte an dieser Stelle wird der Wert aus der Quelle aus der Spalte mit der Überschrift ~Spalte~ übernommen.
'Spalte (Hochkomma "'" vor dem Spaltennamen) es wird eine vorhandene Textformatierung ("@") respektiert
>externe Spalte verwende die referenzierte Spalte aus einem Nachschlagewerk.
"Text oder \Text in jede Zelle wird der konstante Wert Text übernommen.
.1.Spalte ersten Teil der Spalte bis zum ersten Leerzeichen (" ") bzw. Zeitstempeltrenner (" - ").
.2.Spalte zweiten Teil der Spalte nach dem ersten Leerzeichen (" ") bzw. Zeitstempeltrenner (" - ").
.+.Spalte1.Spalte2 Werte aus beiden Spalten.
.*.Spalte1.Spalte2 Entweder Spalte A wenn B = X ist.
.j X wird in j, leer wird in n umgesetzt.
.ja X wird in ja, leer wird in nein umgesetzt.
.J echte JA/NEIN umsetzung.
.t (Transaktionen) mit bisher 2 Funktionen: ISL1 und ISL2.
.l. (Logik) "(".Spalte.["und"|"oder"|"nicht"].Spalte.")"
.komma. Die Zahl wird immer mit einer Nachkommastelle angegeben
.zeit. Die Uhrzeit wird immer im Format HH:MM angegeben

Möglichkeiten bei Spaltenangaben

Spalte1 = SpaltenName | "Konstanter Wert | \Konstanter Wert | !SpaltenName
!Spaltenname : Es wird kein Leerschritt dazwischen gemacht!

Nachschlagewerk: Zaehlerdaten_Referenz.csv

optional kann eine Nachschlagewerk in Form einer CSV Datei bereitgestellt werden. Aus dieser Datei können dann zusätzlich benötigte Daten in die Ergebnisdatei hinzugeladen werden. Ein Import in den OrgaMon wird so unnötig. Ev. ist in den Ergebnisdaten auch sicherzustellen, dass Daten unverändert ausgegeben werden. Dazu ist die Referenz sinvoll.

  • Anker ist hier die Spalte, die in beiden Dateien (Zaehlerdaten_Referenz & Quelldatei) vorhanden ist. Oft werden reine Nutzdatensplaten mit einem '@' Markiert. Die Ankerspalten selbst haben dann kein '@' als Spaltenüberschriftprefix.
#
# Beispielhafte Zaehlerdaten_Referenz.csv Spaltenüberschriften
#  
@Vorname;@Nachname;@Straße;@HsNr;@PLZ;@Ort;@Zählernummer;@Gerätetyp alt;@Rechn.PLZ;@Rech.Ort;@Rech.Straße;@Rech.HsNr;;


  • Warum so viele '@'?: ALLE Spaltenüberschriftsnamen die in BEIDEN Datein (Daten.xls+Zaehlerdaten_Referenz.csv) vorkommen sind ja Ankerspalten, man könnte bei Mehrtarifzählern also "Zaehler_Nummer" und "Zaehlwerk" als Ankerspalten benutzen. Damit man durch zufällige Namensgleichheit in den Spaltenüberschriften nicht in Probleme kommt hab ich mal einfach alle Spaltenüberschriften in der Referenzdatein, die NICHT Ankerspalten sind, mit einem "@" versehen. Sieht gut aus und man weis direkt, hey die Spalten kommen aus der Referenzdatei und NICHT aus der Daten.xls.

xml nach csv Konverter

  • xml Dateien werden oft zur Datenhaltung von 2D Daten benutzt. Diese würden sich also auch als Tabelle abbilden lassen. Eine Konvertierung zu einer csv ist in diesem Fall möglich.
  • Erstellen Sie ein eine "Mappings.txt" mit dem einzigen Inhalt
DEBUG=JA
  • Starten Sie Oc und öffnen Sie nun Mappings.tmp und Mappings.txt


Optionen der Mappings.txt

#
# ARGOS="JA"|"NEIN"
# default="NEIN"
#
# ARGOS=JA
# der <xml>-Wert wird in der Form <tag>Wert</tag> angegeben
#
# ARGOS=NEIN
# der <xml>-Wert wird in der Form <tag value="Wert"> angegeben
#
ARGOS=JA

UTF8=JA

WRITE_AT=<xml Tag>

DEBUG=JA

IGNORE=[ ~Value~ { "|" ~Value~ } ]

#
# NAMESPACE=~Spaltenüberschrift~ { ";" ~Spaltenüberschrift~ }
# default=<leer>
#
#
# Bei der Speicherung der Daten in eine CSV kann anhand des Inhaltes der Datei
# in verschiedene Dateien gespeichert werden. Die Daten werden also anhand eines
# gewissen "Tag" Feldes aufgesplittet und in verschiedene Dateien verteilt.
#
NAMESPACE=
#
# REPLACE=~Spaltenüberschrift-Alt~ "=" ~Spaltenüberschrift-Neu~
#
REPLACE=


COALESCE=JA

Anwendung

  • Im Windows Explorer einen rechten Mausklick auf die zu konvertierende Datei machen. Es öffnet sich das Kontextmenü.
  • Den Menüeintrag "Konvertieren mit Oc" auswählen.
  • Im gleichen Verzeichnis wie die Quelldatei ist nun das Konvertierungsergebnis entstanden.

automatisierte Anwendung

Oc ist als Konsolen-Anwendung Batch-Fähig. Geben Sie dazu in der Kommandozeile den Dateinamen einfach in Anführunszeichen (") an, auf den Sie einen rechten Mausklick machen würden. Die Integration in einen Transaktions-Server ist problemlos möglich. Die Ergebnis Datei (Diagnose.txt) kann fehlerbestimmend ausgewertet werden. kompilierte Linux - Version auf Anfrage.

C:\Programme\Oc\Oc.exe "C:\MeinPfad\Meine zu verarbeitende Datei.xls"