Open Source Tools und Daten

Eine Liste an Werkzeugen und Datenquellen. 

Am besten link + warum ihr glaubt das es taugt

Erster Eintrag: Bloomberg Alternativen. Natürlich nicht den Umfang von Bloomberg. trotzdem hilfreich. 

OpenBB:
Desktop Applikation + Python SDK.  Von der Kommandozeile. Like the real thing:). Aber super buggy!
https://docs.openbb.co/terminal/quickstart/installation


Koyfin:
https://www.koyfin.com/
Browser basiert.

Python war hier am Board schon mehrfach im Gespräch. 

Hier die wichtigsten packages für den Umgang mit Daten:

pandas: Alles was man mit xls machen kann...und mehr. Wenn man sich eingearbeitet hat, ist es recht intuitiv:
https://pandas.pydata.org/

polars: wenn die Daten größer werden, mann aber noch immer auf einem einzelnen Rechner arbeiten will. PyArrow als Columns. Geschrieben in Rust:
https://www.pola.rs/

scipy: wichtige library für Nummerik, Statistik und signal processing (FFT!)
https://scipy.org/

scikit learn: supervised und unsupervised learning (PCA...wichtig für Factor Analysis). Immernoch der Gold Standard im MAchine Learning:
https://scikit-learn.org/stable/

klassische statistische Modellierung. Hypothesetests und SARIMAX Zeitreihenprognose. Hat auch einen wrapper um das berühmte "forecast" R-packagde von Hyndman.  
https://www.statsmodels.org/stable/index.html 

Data is King. Immer noch. Aber auf der algorithmischen Seite kommt Gradient Boosting free-lunch erstaunlich nahe. Es ist erstaunlich wie gut Anfänger mit den Default-Einstellungen werden können. Auch die Hyperparameter Optimierung lässt sich mit Copy& Paste aus der Dokumentation gut hinbekommen.
Hier die 3 Platzhirsche:
https://xgboost.readthedocs.io/en/stable/ (NVIDIA)
https://catboost.ai/ (Yandex)
https://lightgbm.readthedocs.io/en/v3.3.2/ (Microsoft)

Darts: ich bin noch immer nicht zufrieden, aber es geht in die richtige Richtung. Endlich mal ein brauchbares time series package:
https://unit8co.github.io/darts/ 

der quantopian stack:
zipline: backtesting engine
https://github.com/quantopian/zipline
Pyfolio; Portfolio Analyse:
https://github.com/quantopian/pyfolio

Privat würde ich mich eher auf Python konzentrieren. Im Unternehmensbereich ist aber auch R sehr beliebt.

als IDE z.B. RStudio:
https://posit.co/


für Analysen z.B. R Markdown:
https://rmarkdown.rstudio.com/

RStudio jetzt auch für Python:

Embracing R and Python

https://posit.co?wvideo=is2ims59qi

Sehr schön. 
R hat auch IMHO in der akademischen Welt der Ökonomen immer noch die Nase vorn. Das bedeutet man findet viele packages zu Ökonomischen und ökonometrischen Themen. 


https://cran.r-project.org/web/views/Finance.html



Technische Analyse in R  
https://bookdown.org/kochiuyu/Technical-...is-with-R/


Das hier war Vorbild für viele meiner eigenen Implementiereungen:
https://cran.r-project.org/web/packages/...guide.html

R hat auch IMHO in der akademischen Welt der Ökonomen immer noch die Nase vorn.

ja, R scheint bei Wirtschaftswissenschaft, Mathematik und Life-Sciences im Vorteil zu sein. Python wird mehr von Informatikern und Ingenieuren genutzt. Der Fokus ist auch anders, bei R steht das Ergebnis im Vordergrund. Bei Python meist die Programmierung. Sieht man auch oft bei Auswertungen, R gibt einfach hübschere Präsentationen.
Hab auch schon mal mit Shiny rumgebastelt...das sieht einfach gut aus!
https://shiny.rstudio.com/

Gibt es eigentlich eine bevorzugte Sprache von KIs? KIs können doch heute schon Programmiercode anpassen oderr auch neu schreiben. Ich kann mir gut vorstellen, dass damit dann z.B. Internetauftritte von Firmen durch Mitarbeiter mit nur geringen Fähigekeiten in Sachen Programmierung erstellt und modifiziert werden. 

Gibt es da eigentlich eine bevorzugte Sprache mit denen KIs so trainiert werdnen? Oder hat sich da noch keine Richtung ausgebildet?

Vielen Dank für die Beiträge, tolle Info.
Von R hatte ich ja noch nie gehört....und dann shiny!
Wenn ich mal in Rente bin dann lerne ich das alles!

Spass beiseite, ich schau mir das mal an.

Ich sag in pltly kriegt man alles hin.
https://plotly.com/python/

Mit pltly-dash lassen sich wunderbar dashboards bauen. Das kann gut mit shiny mithalten. 

Oder steanmlit.
https://streamlit.io/ 
Da kann man alle plot-libraries verwenden, die einem einfallen (wie plotly oder seaborn https://seaborn.pydata.org/)

Portfolio-Analyse und Visualisierung der Backtestdaten: https://www.portfoliovisualizer.com/

Vorteil: Keine Programmierkenntnisse nötig
Nachteil: Ergibt sich aus dem obigen Vorteil, da man sehr limitiert ist. Wenn man aber genau weiß, was man braucht und dies in der Plattform implementiert ist, kommt halt extrem schnell zu brauchbaren Ergebnissen.

Das Folgende hat mein Verständnis von Software/Data-Engineering nachhaltig verändert. In meinem Berufsleben hatte ich zweimal bei Prop Shops mit kleinen Teams zu tun, die damit arbeiten. Einmal in UK und einmal in den Niederlanden. 

Man muss verstehen, das Software ausrollen im Intraday Trading Umfeld etwas heikles ist. Man muss relative häufig und schnell Änderungen deployen....aber es darf halt nix schief gehen. Weil einen das dann eventuell enormes Geld kostet.

Ich habe in der Luft und Raumfahrt an "kritischen" Anwendungen gearbeitet. Da nimmt man sich dann aber ewig Zeit. Das geht im Trading Umfeld einfach nicht. Man hat also das Problem das man performante und fehlerfreie Software schnell und sicher entwickeln muss.

Die beiden Teams hatten kdb+ verwendet. Die haben da alles mit gemacht. OLAP Analysen und Echtzeit-Datenverarbeitung (also die Umsetzung der eigentlichen Trading Algorithmen). Einer der Kollegen sagte immer scherzhaft: "Other than reading and writing e-mails, I do everything with kdb+".

Wenn ihr das nicht kommerziell nutzt, ist das erstmal frei:
https://kx.com/developers/

Das ganze Ding https://code.kx.com/q/architecture/ ist >600kb und passt bequem in den L2 cache!!!!
Es gewinnt eine Benchmark nach der anderen...obwohl es eigentlich alles auf technik aus den 80ern basiert. 
https://tech.marksblogg.com/billion-nyc-taxi-kdb.html
https://stacresearch.com/news/KDB211006

In dieser community ist erstmal alles anders, als man das aus der restlichen software Welt kennt. Variablen heißen "x" und "y", ganze Programme werden in eine Zeile gekloppt, es gibt keine for-loops.... 

Das klingt alles bescheuert. Aber es ist erstaunlich, was die Leute so hinbekommen. Für mich stellt das den modernen Gold-Standard"Cloud-kubernetes-Micro-Service-Bloatware" Approach von Uber/Netflix/Facebook/Twitter/... echt in Frage. 

Echt erstaunlich was man da auf einem einzelnen Server hinbekommt. Und auch wenn man mal mit der Sprache ne weile gearbeitet hat...tut echt aua danach wieder zu C/Java/C#/Python zu wechseln.