How To: Self Host a Generative AI

Generative AI is the new hot stuff. And its more easy than you presume. No need to spend billions on the hyperscalers profits. For the sake of ease as a first approach I will start here with a Linux based nevertheless Windows constellation.

This is a fundamental good approach because this relieves you from data privacy issues and helps with much more control over your private data. Predominantly without loss of quality because some of the included models come from large organizations with substantial funds. And there is not even a lack of performance or service integrity:

You may integrate large language models, image generation (never write an article or give an talk on AI without kittens – these up there are NOT real) and even integrate this as chatbots in your personal tools.

But to start:

Install a general available Linux platform – focus here on Debian (Ubuntu should work just as well) and install it in your local WSL – Windows Subsytem on Linux Environment. Most of this would apply to server installations, but I would spend some more effort to make this nice and shiny – and this should be an easy to use quick approach.

WSL Installation

Ensure Windows Terminal app is installed on your Windows PC – This is not CMD !.

Beyond that the installation of an local LLM is encouraged because it is easy to interact with windows desktop tools, which then may provide an network independent and customized chatbot.

Enter Terminal on Power Shell and enter

wsl --install -d Debian

Additional distributions might be available and may be retrieved likewise. An overview you get is with :

PS C:\Users\f.benke> wsl --list --online 

I prefer then to set the default version of the started WSL container to the application specific one. Continue reading

In my own regard – Speaker Season 2023

Just wanted to point out the upcoming Talk season. This year I speak primarily on the IT Sourcing Conference 23 of the BME – Bundesverband Materialwirtschaft, Logisik und Einkauf e.V. and again on the Storage 2 Day by Heise and D.Punkt Verlag.

You may find the dates and slides on my talks page permanently. Never the less I would like to point out that I am particular proud to deliver the opening keynote on the Storage 2 Day conference with a talk “Ransomware & The Dream of Backup“.

On the one hand I finally made it to the Heise Newsticker as some friends pointed out before I even recognized. On the other hand I summarize a real world experience of surviving Continue reading

In Eigener Sache: storage2day 2022

Noch einer in eigener Sache: am 13. und 14. Oktober findet in Müchen die diesjährige storage2day statt.

In dieser Inkarnation bin ich mit gleich zwei Vorträgen vertreten und darf sowohl über Backup Benchmarks als auch Software Defined Storage reden.

Ich weiß ich hab den ein oder anderen Fan in der Comunity und ich würde mich wirklich freuen euch dort zu treffen.

KyP. F.

In Eigener Sache: sgTalk#01 NVMe All Flash Pilot

Ich durfte bei Speicherguide.de ein wenig über meinen aktuellen NVMe All Flash Piloten reden. Gerne auch bei Speicherguide direkt oder gleich hier. Ich stelle mich auch den Fragen – die sich aber Stand heute noch in Grenzen halten. Nichts desto trotz freue ich mich über Feedback.

Im selben Aufwasch habe ich auch die Info gekriegt, dass ich mit einem Talk zu dem Thema auch für die Storage 2 Day in Heidelberg diesen Jahres angenommen wurde.

In diesem Zusammenhang, KyP. F.

IT-Operations in Corona Mode

Having a pandemia raging on full throttle, shutting down society and major parts of business life is of course a real IT challenge. The challenge grows, when the according IT is homed in an basically ongoing business, facing a complete shift in its mode of operation.

This leaves the IT-departement with two major challenges, I want to discuss today:

  1. Organize a resilient and disaster tolerant IT organisation
  2. Adapt to the quick changes in business needs, user needs and user behavior

Resilient organisation of structure and workflow within an IT operations team is today not necessarily an incredible complex thing, since many tools and methods should be available anyway. On top it Continue reading

Software Defined Speed

Ich behaupte ja schon seit mehreren Jahren, dass Menschen die ihr Heil in der Cloud suchen entweder keinen Taschenrechner haben oder sonst irgendein Problem, dem man sich auch anderweitig auf sinnvolle Weise nähern könnte.

Da einige ausgesprochen große Player in fundamentaler und nicht kleinlicher Gewinnerzielungsabsicht Marketing Milliarden in die Formung von IT Glaubenssätzen investieren, fühlt sich das zuweilen an als hätte man Aussatz. Marketing- Milliarden die im Übrigen erst remonetarisiert werden müssen bevor das Gewinnstreben befriedigt wird. Zweiflern empfehle ich ein paar Stunden an der Pier von Seattle beim “Yachtspotting”.

Nach all den Windmühlenkämpfen dann das: “Software-definiertes Rechenzentrum bei Porsche Informatik“. Nein! Doch! Oooooh!. Und das ganze nicht nur weil es besser und billiger ist, sondern weil es auch noch mehr Speed für die eingenen Entwickler bedeutet. Dabei entscheiden sich die Porsche ITler für HPE Synergy und VMWare. Eine Continue reading