Jusletter IT

Die zunehmende Urbanisierung, gepaart mit dem steigenden Bevölkerungswachstum, wirft eine Vielzahl von Herausforderungen auf – sei es in technischer, sozialer, ökonomischer oder organisatorischer Hinsicht. Diese Komplexität beeinflusst maßgeblich auch die ökologische und wirtschaftliche Nachhaltigkeit von Städten (Neirotti et al. 2014). Als bedeutende Zentren wirtschaftlicher Entwicklung und des sozialen Fortschritts tragen Städte jedoch auch eine erhebliche Verantwortung für den Ressourcenverbrauch. Mehr als 75 % des weltweiten Energiebedarfs und über 80 % der Treibhausgasemissionen gehen auf städtische Aktivitäten zurück (Lazaroiu/Roscia 2012).

In diesem herausfordernden Kontext wird die Entwicklung von Smart Cities als vielversprechende Lösung diskutiert. Der Begriff umfasst die Integration digitaler Infrastrukturen, die nicht nur zu einer qualitativen Verbesserung von Dienstleistungen für Bürger¹ und Unternehmen führt, sondern auch dazu beiträgt, Industrie- und Verwaltungsprozesse zu digitalisieren und Ressourcen effizienter zu nutzen. Smart Cities gelten als Leitfaden für eine nachhaltige städtische Entwicklung, wobei insbesondere neue, vernetzte Technologien und Systeme eine Schlüsselrolle spielen (Matos et al. 2019; Kraus et al. 2015).

Die vorliegende Konzeptionsarbeit befasst sich mit der Aufgabe, wirkungsorientierte Evaluationen in Smart-City-Projekten durchzuführen, wobei ein spezieller Fokus auf den Städten Köln und Freiburg liegt. Diese Arbeit, die einen einführenden wissenschaftlichen Beitrag darstellt, erörtert die Anwendung der Objectives and Key Results (OKR)-Methode im Kontext von Smart-City-Initiativen. Um diese Methode in einem praxisnahen Kontext zu untersuchen, dienen die Städte Freiburg und Köln als Forschungsobjekte und bieten eine Grundlage für eine vergleichende Analyse. Beide Städte sind Teil von der Bundesregierung geförderten Smart-City-Modellprojekten. Diese umfassen 73 Smart-City-Projekte, die seit 2019 ausgewählt wurden und mit insgesamt 820 Millionen Euro gefördert werden.² OKRs dienen hierbei als Evaluationsinstrument aufgrund ihrer klaren Struktur und ihrer Fähigkeit, transparente, messbare Ziele für komplexe Smart-City-Projekte zu setzen.

Die Arbeit beleuchtet zunächst den theoretischen Rahmen für den Einsatz von OKRs in der Bewertung von Smart-City-Projekten und betrachtet ebenfalls die Integration von Key Performance Indicators (KPIs) sowie Analytischen Hierarchieprozessen (AHPs) in diesem Bewertungsprozess. Diese Werkzeuge können zu einer differenzierten, datengestützten Analyse beitragen. Allerdings wird auch auf die Herausforderungen und Einschränkungen eingegangen, die bei der Anwendung dieser Instrumente in der Praxis auftreten können. Infolgedessen lautet die zentrale Forschungsfrage: Wie können wirkungsorientierte Evaluationen in Smart-City-Projekten effektiv durchgeführt werden? Welche Rolle spielen dabei die Methoden der Objectives and Key Results (OKR), Key Performance Indicators (KPIs) und Analytische Hierarchieprozesse (AHPs)? Erweisen sich diese spezifischen Methoden als zielführend?

Das in der Arbeit vorgeschlagene konzeptionelle Modell, welches die OKRs, KPIs und AHPs verbindet, ist ein erster Ansatz zur ganzheitlichen Evaluation von Smart-City-Projekten. Es wird betont, dass dieses Modell ein Anfangspunkt ist und es weiterer Forschung und Entwicklung bedarf, um dessen Effektivität in der Praxis zu beurteilen. Abschließend bietet die Konzeptionsarbeit einen ersten Ausblick darauf, wie diese Methodik potenziell zur Entwicklung effizienterer, nachhaltiger und bürgerzentrierter städtischer Umgebungen beitragen könnte.

Die Städte Köln und Freiburg setzen auf ambitionierte Smart-City-Projekte, um die Digitalisierung in sämtlichen Lebensbereichen voranzutreiben. Beide Städte stehen vor der Problemstellung, nicht nur während der Projektphase effektive Lösungen zu entwickeln, sondern diese auch nachhaltig zu implementieren und isolierte Ansätze zu vermeiden.

un:box cologne

Das Smart-City-Projekt „un:box cologne“ in Köln verfolgt das Ziel, die Stadtgesellschaft als Impuls- und Ideengeber aktiv in sämtlichen Phasen der Digitalisierung einzubinden. Dies soll nicht nur eine hohe Identifikation und Nutzungsbereitschaft schaffen, sondern auch bestehende digitale Communities stärken, um Ideen schnell in nachhaltige Lösungen zu überführen. Dabei basiert die Smart-City-Strategie von Köln auf der Bündelung von Kölner Digitalisierungsstrategien und einem dauerhaften Kommunikationskonzept. Nachhaltige, digitale Lösungen werden entwickelt, die sich harmonisch in die Strategien der Stadt integrieren lassen. Ein eigenes Datenökosystem wird geschaffen, um die Datensouveränität zu stärken.

Dabei zielen die Maßnahmen von un:box cologne unter anderem darauf ab, die Stadtgesellschaft aktiv einzubinden und nachhaltige Digitalisierung voranzutreiben:

• Entwicklung eines dauerhaften Kommunikationskonzepts: Das Projekt strebt an, eine fortlaufende und effektive Kommunikation mit der Stadtgesellschaft sicherzustellen, um diese aktiv am Digitalisierungsprozess zu beteiligen.
• Bereitstellung von Begegnungsräumen: Durch die Schaffung stationärer, mobiler und digitaler Begegnungsräume soll der Austausch zwischen den Bürgern gefördert werden, um innovative Ideen zu generieren und zu unterstützen.
• Anstoß von Dialogen und Prozessen: Die Initiative setzt darauf, Dialoge und Prozesse in Gang zu setzen, die Raum für die Entstehung von Ideen bieten und diese bis zur Projektreife ausarbeiten können.
• Definition von Kriterien für die Vergabe eines un:box-Siegels: Die Festlegung klarer Kriterien soll die Auszeichnung von besonders erfolgreichen digitalen Projekten ermöglichen. Dies ist verbunden mit einer Anschubförderung und dem Aufbau eines Netzwerks von Unterstützern.
• Sicherstellung der Datensouveränität: Parallel zum Projekt wird ein eigenes Kölner Datenökosystem entwickelt, das Kriterien zum Datenhandling und zur Datenethik enthält. Dies dient der Sicherung der Datensouveränität der Stadt Köln und bietet eine zentrale Plattform für datenbezogene Angelegenheiten.

Um den langfristigen Austausch und die kontinuierliche Generierung neuer Ideen zu gewährleisten, müssen Dialoge und Prozesse langfristig stabilisiert und offen gehalten werden. Das übergeordnete Ziel besteht darin, Köln als attraktive und konkurrenzfähige Stadt im Zeitalter der Digitalisierung zu positionieren, wobei die Wünsche und Bedürfnisse der Stadtgesellschaft aktiv einbezogen werden sollten.

DATEN:RAUM:FREIBURG

Das Freiburger Smart-City-Projekt „DATEN:RAUM:FREIBURG“ verfolgt das Motto “Deine Daten. Deine Stadt.“. Das Ziel besteht darin, eine integrierte Dateninfrastruktur zu schaffen, die ausgewertet und für zahlreiche Anwendungen genutzt werden kann, um die komplexen Anforderungen einer integrierten Stadtentwicklung zu bewältigen.

Das DATEN:RAUM:FREIBURG fungiert als Schlüsselprojekt innerhalb der Freiburger Digitalisierungsstrategie. Die Bereitstellung von Daten für Bürger, Unternehmen, Wissenschaft und Medien ermöglicht es der Verwaltung und Politik, fundierte Entscheidungen auf Basis aussagekräftiger und qualitativ hochwertiger Daten zu treffen. So legt der Datenraum besonderes Augenmerk auf Anwendungen zur Mobilitätssteuerung und Verkehrssicherheit sowie auf Stadtsimulationen, insbesondere dem „digitalen Zwilling³“ des neuen Stadtteils Dietenbach. Ziel ist es, digitale Modelle zu schaffen, die umweltdatenbezogene Zusatzinformationen integrieren. Um digitale Souveränität zu gewährleisten, bleibt die Stadt Freiburg Eigentümerin der Daten und arbeitet datenschutzkonform. Der DATEN:RAUM:FREIBURG soll zahlreiche Datensätze und Auswertungsmöglichkeiten bereitstellen und bestehende Datensilos überwinden. Derzeit werden Technologien und Software-Architekturen für das Projekt erarbeitet. Durch die Entwicklung und Erprobung von zwei Prototypen sollen optimale Systeme gefunden und potenzielle Probleme frühzeitig identifiziert werden.

Die Gestaltung und Steuerung von Projekten im öffentlichen Sektor steht vor zunehmenden Herausforderungen, die sich nicht nur auf technische Aspekte, sondern auch auf gesellschaftliche, wirtschaftliche und organisatorische Dimensionen erstrecken. In diesem komplexen Umfeld wird die Fähigkeit, die Wirkung von Projekten auf das Gemeinwohl zu messen, immer wichtiger. Projektmanagement im öffentlichen Sektor ist mit einzigartigen Anforderungen und Komplexitäten konfrontiert (Marques et al. 2011). Im Gegensatz zur Privatwirtschaft, in der der Erfolg oft an monetären Größen gemessen wird, steht im öffentlichen Sektor die Auswirkung von Projekten auf die Bürgerinnen und Bürger im Vordergrund. Hierbei spielen Aspekte wie Effizienz, Transparenz und bürgernahe Verwaltung eine entscheidende Rolle. Um diesen Aufgaben gerecht zu werden, bedarf es innovativer Methoden, die eine zielgerichtete und wirkungsorientierte Steuerung ermöglichen.

Objectives and Key Results (OKR)

Ein innovativer Ansatz, der in diesem Zusammenhang immer mehr Beachtung findet, ist die Implementierung von Objectives and Key Results (OKR). Initiiert von dem Freiburger Smart-City-Projekt „DATEN:RAUM:FREIBURG“ wurde in Kooperation mit dem Kölner Smart-City-Projekt „un:box cologne“ ein Managementsystem zur wirkungsorienrtieren Evaluierung namens „OKR“ eingeführt (Stadt Freiburg 2022, Stadt Köln 2022). Dieses Rahmenwerk zur Zielsetzung (Objectives) und Wirkungsmessung der Erfolgsfaktoren (Key Results) ermöglicht die Entwicklung und Umsetzung vernetzter, übergreifender Projekte zu orchestrieren. Im Zentrum stehen die Gewährleistung eines strukturierten Zielvereinbarungsprozesses sowie die Förderung der Selbstorganisation und Einsatzbereitschaft der Mitarbeitenden. Durch Transparenz und Sichtbarkeit wird die Kommunikation verbessert (Niven/Lamorte 2016; Doerr 2018). Zugleich werden mittels Indikatoren die Prozesse bemessen und die Ergebniskennzahlen der vielen unterschiedlichen Teilprojekte miteinander verknüpft. Die Einführung von OKR im öffentlichen Sektor stellt eine innovative Entwicklung dar, die auf die zunehmende Bedeutung von wirkungsorientierter Verwaltungsarbeit reagiert.

Ursprünglich aus der Privatwirtschaft stammend, hat sich OKR als bewährte Methode zur Zielsetzung und Leistungssteigerung etabliert (Niven/Lamorte 2016). Die Adaption von OKR im öffentlichen Sektor stellt eine transformative Maßnahme dar, die darauf abzielt, Verwaltungsarbeit stärker an den Bedürfnissen der Bürgerinnen und Bürger auszurichten. Die öffentliche Verwaltung steht vor der Herausforderung, nicht nur effizient zu agieren, sondern auch nachhaltige positive Wirkungen für die Gesellschaft zu entfalten. Während der Erfolg in der Privatwirtschaft oft durch finanzielle Kennzahlen gemessen wird, erfordert die öffentliche Verwaltung eine differenzierte Bewertung ihrer Leistungen. Die zunehmende Bedeutung von Wirkungsorientierung im öffentlichen Sektor korrespondiert mit dem Bestreben, Verwaltungshandeln an den Bedürfnissen der Bürgerinnen und Bürger auszurichten. Die Einführung von OKR ermöglicht eine gezielte Messung und Steuerung von Wirkungen, wodurch die Verwaltung in die Lage versetzt wird, ihre Leistungen transparenter und nachvollziehbarer zu gestalten. Die Entscheidung von Städten wie Freiburg und Köln, OKR zu implementieren, verdeutlicht den strategischen Charakter dieser Methode. Die Entscheidung dieser Städte für OKR spiegelt einen landesweiten Trend wider, der die Wirkungsmessung und -steuerung in den Vordergrund rückt. In der nachfolgenden Tabelle 1 ist eine Auswahl bekannter OKR-Anwendungen im öffentlichen Sektor aufgelistet.⁴ Dadurch etabliert sich OKR als äußerst relevantes Instrument in einer Vielzahl von öffentlichen Einrichtungen, was durch dessen zunehmende Anwendung in verschiedenen Behörden und kommunalen Organisationen deutlich wird.

Tabelle 1: Praxisbeispiele für die Anwendung von OKRs im öffentlichen Sektor

Die Smart-City-Projekte der beiden Städte legen ihre qualitativen Ziele (Objectives) für drei bis vier Monate fest, die durch messbare Schlüsselresultate (Key Results) unterstützt werden sollen. Die Festlegung der Zielvorgaben soll hierbei in autonome Arbeitsgruppen erfolgen, wobei die Dauer des Zyklus individuell an die Organisation variiert werden kann. Nach der Festlegung des Zyklus ist es entscheidend, diesen verbindlich beizubehalten und keine Änderungen mehr vorzunehmen.

Die Umsetzung der OKRs erfolgt in fünf Schritten:

Neben den festgelegten Schritten des OKR-Prozesses sind auch regelmäßige OKR-Weeklys ein wesentlicher Bestandteil. Während dieser Meetings werden die aktuellen Fortschritte und Schnittstellen effizient erörtert, um eine kontinuierliche Abstimmung und Anpassung sicherzustellen. OKRs sind besonders nützlich, um Priorisierung, Fokus und Handlungsbereitschaft zu fördern, vor allem wenn es um die Verfolgung großer Ziele oder inspirierender Visionen geht, wie z. B. Smart-City-Projekte. Sie helfen, den Weg zu den Zielen klar zu definieren (Al Thinyan et al. 2022). Allerdings ist die OKR-Methode allein nicht ausreichend für eine umfassende Wirkungsanalyse, da sie primär auf Zielsetzung und Fortschrittsmessung ausgerichtet ist.

Key Performance Indicators (KPI)

An diesem Punkt kommen Leistungsindikatoren, bekannt als KPIs (Key Performance Indicators), ins Spiel. Zur Unterstützung der Überwachung relevanter Projekte und Initiativen können KPIs ein universelles Instrument sein, um den Fortschritt von Smart-City-Strategien zu bewerten (Dameri 2017). Die Städte Köln und Freiburg haben bereits die OKR-Methode in ihre Smart-City-Projekte implementiert, stehen jedoch noch vor der Einführung von KPIs. Es ist beabsichtigt, diese Indikatorensets im OKR-Zyklus mitaufzunehmen, um eine weitere Optimierung und Evaluation ihrer Projekte zu ermöglichen. So werden KPIs eingesetzt in Organisationen, um den Fortschritt bei der Erreichung strategischer Ziele zu überwachen und zu messen. Sie können daher genutzt werden, um die Effektivität eines Projekts in Bezug auf das Erreichen spezifischer Schlüsselziele zu bewerten. Bezogen auf Projekte sollten KPIs aus einer Reihe von Messgrößen bestehen, welche gezielt jene Facetten der Projektleistung erfassen, die für den Erfolg des Projekts ausschlaggebend sind. Auch im Projektmanagements sollten KPIs mit dem Erfolg oder Scheitern eines Projekts verknüpft sein und sollten stets messbare sowie überprüfbare Kennzahlen wiedergeben. Zu den gängigen Kennzahlen zählen Messgrößen wie Zeit, Kosten, Ressourceneinsatz und Qualität (Kerzner 2023; Toor/Ogunlana 2010). Badawy et al. (2016) konnten nach einer umfassenden Analyse und Diskussionen mit Fachleuten verschiedener Organisationstypen die charakteristischen Merkmale KPIs definieren. Demnach sollten KPIs unter anderem auf eine geringe Anzahl von aussagekräftigen und leicht verständlichen Indikatoren beschränkt werden. Sie sind zielgerichtet und üben direkten Einfluss auf wesentliche Erfolgsfaktoren aus, sind eindeutig zugeordnet und transparent gestaltet, stehen in Einklang mit den angestrebten Ergebnissen und bieten ein ausgewogenes Verhältnis zwischen finanziellen und nicht-finanziellen Kennzahlen. Zudem gewährleisten ihre sorgfältige Abstimmung, zuverlässige Validierung, regelmäßige Überprüfung und die Zuweisung auf Teamebene eine effiziente Verantwortlichkeit und operative Umsetzbarkeit (Badawy et al. 2016). Im kommunalen Kontext könnten diese genannten Charakteristika sinnvoll in die KPIs integriert werden.

Bei der Implementierung von KPIs ist es entscheidend, vier Hauptfaktoren grundlegend zu berücksichtigen (Popa 2015):

1.) Aktivitäten müssen an die Ziele ausgerichtet werden,

2.) Erfassung notwendiger Informationen zur Optimierung der Aktivitäten,

3.) Evaluierung der umgesetzten Aktivitäten in den Teilprojekten,

4.) Erstellung und Bereitstellung aufschlussreicher Reports.

Es lässt sich somit folgendes Zusammenfassen: OKRs sind ein Framework zur Zielsetzung, bei dem klare Ziele mit spezifischen, messbaren Schlüsselergebnissen verbunden werden. Diese Ziele sind ambitioniert und qualitativ, während die Schlüsselergebnisse quantitative Meilensteine darstellen. OKRs fördern die Fokussierung auf zentrale Prioritäten und können dazu genutzt werden, organisatorische Veränderungen herbeizuführen. KPIs sind Maßstäbe, die Veränderungen der Leistung im Laufe der Zeit oder in Bezug auf bestimmte Ziele messen. Sie konzentrieren sich auf entscheidende Kriterien und erleichtern die Überwachung von laufenden Aktivitäten und Geschäftsprozessen. KPIs sind präzise Messgrößen, die dazu dienen, die Leistungsfähigkeit und den Erfolg von Geschäftsprozessen zu bewerten.

Die Wahl, OKRs und KPIs zu kombinieren, ermöglicht eine umfassende wirkungsorientierte Evaluierung. Während OKRs klare Ziele setzen und den Fokus auf qualitative Verbesserungen legen, bieten KPIs quantitative Messungen, um den Fortschritt und den Erfolg dieser Ziele zu evaluieren. Die Kombination dieser Ansätze unterstützt eine fundiertere Bewertung von Projekten und Prozessen, was die Verwaltung dabei unterstützt, gezielt interne Abläufe zu optimieren und den Gesamterfolg ihrer Smart-City-Initiativen zu beurteilen. Allerdings ist auch die Hinzunahme von KPIs im OKR-Prozess allein nicht ausreichend.

Um verschiedene Ziele und Leistungsindikatoren effizient zu priorisieren und zu bewerten, ist es unerlässlich, sowohl qualitative als auch quantitative Aspekte zu integrieren und flexibel auf sich ändernde Umstände reagieren zu können. Dafür bedarf es strukturierter Entscheidungsfindungsprozesse. Die reine Betrachtung von OKRs und KPIs reicht daher nicht aus. Es ist von wesentlicher Bedeutung, dass dieser Prozess die Einschätzungen von Experten miteinbezieht, um eine aussagekräftige und umfassende Entscheidungsgrundlage zu schaffen.

Multi-Criteria-Analysis: AHP-Methode

Methoden der Multi-Criteria-Analysis (MCA) stellen einen wesentlichen Aspekt der Entscheidungstheorie dar, indem sie darauf ausgerichtet sind, komplexe Entscheidungsprozesse zu systematisieren und Entscheidungsträgern dabei zu unterstützen, die Vielfalt an Wertesystemen in Betracht zu ziehen. Sie ermöglichen eine ausführliche Untersuchung verschiedener Handlungsalternativen, die auf einer Vielzahl komplexer Kriterien basieren, und tragen so zu einem vertieften Verständnis in Entscheidungssituationen bei (De Miranda Mota et al. 2009). Insbesondere im Bereich des Projektmanagements erweisen sich MCA-Methoden als äußerst nützlich, um fundierte Entscheidungen unter herausfordernden Bedingungen zu treffen (Zavadskas et al. 2014).

Der Analytische Hierarchieprozess (AHP) ist eine spezifische MCA-Methode, entwickelt von Thomas L. Saaty in den 1970er Jahren (Saaty 1986). Diese Methode ermöglicht eine hierarchische Strukturierung von Kriterien und Alternativen, was die Bewältigung komplexer Entscheidungsprobleme erleichtert. Der AHP, als mathematisches Entscheidungsmodell auf paarweisen Vergleichen basierend, nutzt die Expertise von Entscheidungsträgern, um Prioritätsskalen abzuleiten. Qualitative Informationen werden in quantifizierbare Größen umgewandelt, was besonders für Situationen geeignet ist, in denen diverse Kriterien die Entscheidungsfindung beeinflussen (Saaty 2008; Javed/Liu 2017). Ein herausragendes Merkmal des AHP ist seine Anwendbarkeit bei der Lösung von Multikriterien-Entscheidungsproblematiken. Über die Jahre hat sich der AHP in verschiedenen Branchen bewährt. Die Hierarchisierung von Zielen, Attributen, Unterkriterien und Alternativen ermöglicht eine klare Strukturierung des Entscheidungsraums (Xu/Liao 2014). Es lässt sich festhalten, dass die vielseitige Anwendbarkeit des AHP und seine kontinuierliche Integration mit anderen Entscheidungsmodellen hervorzuheben sind. Daher wird die Bedeutung des AHP als bewährte Methode zur adressenspezifischen Priorisierung und Entscheidungsunterstützung deutlich.

So ist die erfolgreiche Anwendung des AHP zur Wirkungsmessung im Kontext von Smart-City-Projekten maßgeblich von der Auswahl der KPIs abhängig. Die Definition und Festlegung geeigneter KPIs stellen einen entscheidenden Schritt dar, um den Evaluierungsprozess präzise zu gestalten. In Anbetracht der vielfältigen Herausforderungen und Zielsetzungen innerhalb von Smart-City-Initiativen ist es essenziell, KPIs sorgfältig zu wählen, um aussagekräftige Ergebnisse zu erzielen. In der Fortführung dieses Konzeptpapiers ist vorgesehen, dass die Expertenauswahl als Schlüsselelement für die Bewertung der KPIs im Rahmen des AHP-Verfahrens in einem späteren Stadium behandelt wird. Die Erfahrung und Fachkenntnisse der Experten spielen eine zentrale Rolle, um eine fundierte und ausgewogene Priorisierung der KPIs vorzunehmen. Die Expertenauswahl erfolgt unter Berücksichtigung verschiedener Perspektiven und Fachgebiete, um sicherzustellen, dass die Bewertung der KPIs ganzheitlich und praxisrelevant ist. Das gewählte Vorgehen mit einer agilen Methode ermöglicht es, die Verwaltungsorganisation in kleinere und konkretere Teilziele zu skalieren. Auf dem Weg zur Smart City bieten agile Netzwerkeinheiten die Chance, innovative Lösungen neben dem Tagesgeschäft der Verwaltung schnell, effektiv und wertstiftend zur Verfügung zu stellen.

Letztlich bietet die Verknüpfung von AHP, OKR und KPIs eine effektive Methode, um die komplexe Entscheidungsfindung in Smart-City-Projekten zu unterstützen. Durch diesen integrativen Ansatz wird nicht nur die Transparenz in der Wirkungsmessung verbessert, sondern es ermöglicht auch eine strategische Ausrichtung auf klar definierte Ziele. Nachdem die theoretischen Grundlagen in diesem Konzeptpapier behandelt wurden, wird in einer späteren Arbeit eine Expertenauswahl aus Wissenschaft und Praxis zusammengestellt, um fundierte Erkenntnisse für die Anwendung der AHP-Methode zu generieren.

Al Thinyan, Khalid T./Ghawji, Haitham/Al Shehri, Abdullah, What are OKRs and KPIs and can they Coexist within an Organization?, International Journal of Innovative Science and Research Technology, volume 7, issue 8, 2022, S. 176-179.

Badawy, Mohammed/El-Aziz, A. A. Abd/Idress, Amira M./Hefny, Hesham/Hossam, Shrouk, A survey on exploring key performance indicators, Future Computing and Informatics Journal, volume 1, issue 1-2, 2016, S. 47-52. DOI: 10.1016/j.fcij.2016.04.001

Dameri, Renata P., Smart city definition, goals and performance. In: Dameri, Renata P. (Hrsg.), Smart City Implementation: Creating Economic and Public Value in Innovative Urban Systems, 2017, S. 1-22. DOI: 10.1007/978-3-319-45766-6_1

De Miranda Mota, Caroline M./De Almeida, Adiel T./Alencar, Luciana H., A multiple criteria decision model for assigning priorities to activities in project management, International Journal of Project Management, volume 27, issue 2, 2009, S. 175-181.

Doerr, John, Okr: Objectives & Key Results: Wie Sie Ziele, auf die es wirklich ankommt, entwickeln, messen und umsetzen. Vahlen 2018.

Javed, Saad A./Liu, Sifeng, Evaluation of Project Management Knowledge Areas using Grey Incidence Model and AHP, international conference on grey systems and intelligent services (GSIS), volume 120, 2017.

Kerzner, Harold, Project Management Metrics, KPIs, and Dashboards: A Guide to Measuring and Monitoring Project Performance, Wiley, Hoboken 2023.

Kraus, Sascha/Richter, Chris/Papagiannidis, Savvas/Durst, Susanne, Innovating and Exploiting Entrepreneurial Opportunities in Smart Cities: Evidence from Germany, Creativity and Innovation Management, volume 24, issue 4, 2015, S. 601–616. DOI: 10.1111/caim.12154

Lazaroiu, Geroge C./Roscia, Maria Cristina, Definition methodology for the Smart Cities Model, Energy, volume 47, issue 1, 2012, S. 326–332. DOI: 10.1016/j.energy.2012.09.028

Marques, Guillaume/Gourc, Didier/Lauras, Matthieu, Multi-criteria performance analysis for decision making in project management, International Journal of Project Management, volume 29, issue 8, 2011, S. 1057-1069. DOI: 10.1016/j.ijproman.2010.10.002

Matos, Florinda/Vairinhos, Valter/Durst, Susanne/Dameri, Renata P., Intellectual Capital and Innovation for Sustainable Smart Cities: The Case of N Tuple of Helices. In: Matos, Florinda/Vairinhos, Valter/Selig, Paulo M./Edvinsson, Leif (Hrsg.), Intellectual Capital Management as a Driver of Sustainability, Springer, Cham 2019, S. 49–66.

Neirotti, Paolo/De Marco, Alberto/Cagliano, Anna C./Mangano, Giulio/Scorrano, Francesco, Current Trends in Smart City Initiatives: Some Stylised Facts, Cities, volume 38, 2014, S. 25-36. DOI: 10.1016/j.cities.2013.12.010

Niven, Paul R./Lamorte, Ben, Objectives and Key Results: Driving Focus, Alignment, and Engagement with OKRs, Wiley, Hoboken 2016.

Popa, Brînduşa, Challenges when Developing Performance Indicators. Journal of Defense Resources Management (JoDRM), volume 6, issue 1, 2015, S. 111-114.

Saaty, Thomas L., Axiomatic Foundation of the Analytic Hierarchy Process, Management Science, volume 32, issue 7, 1986, S. 841-855. DOI: 10.1287/mnsc.32.7.841

Saaty, Thomas L., Decision making with the analytic hierarchy process, International Journal of Services Sciences, volume 1, issue 1, 2008, S. 83–98. DOI: 10.1504/IJSSCI.2008.017590

Stadt Freiburg, Pressebericht – Wirkungsmessung und Orchestrierung von Smart-City-Projekten, https://digital.freiburg.de/neuigkeiten/detail/wirkungsmessung-und-orchestrierung-von-smart-city-projekten (aufgerufen am 15.12.2023), 2022.

Stadt Köln, Pressebericht – Wirkungsmessung und Orchestrierung von Smart-City-Projekten, https://www.stadt-koeln.de/artikel/72089/index.html (aufgerufen am 15.12.2023), 2022.

Toor, Shamas-Ur-Rehman/Ogunlana, Stephen O., Beyond the ‘iron triangle’: Stakeholder perception of key performance indicators (KPIs) for large-scale public sector development projects, International Journal of Project Management. volume 28, issue 3, 2010, S. 228-236. DOI: 10.1016/j.ijproman.2009.05.005

Xu, Zeshui/Liao, Huchang, Intuitionistic Fuzzy Analytic Hierarchy Process. IEEE Transactions on Fuzzy Systems, volume 22, issue 4, 2014, S. 749-761. DOI: 10.1109/TFUZZ.2013.2272585

Zavadskas, Edmundas K./Vilutienė, Tatjana/Turskis, Zenonas/Šaparauskas, Jonas, Multi-criteria analysis of Projects’ performance in construction, Archives of Civil and Mechanical Engineering, volume 14, 2014, S. 114-121. DOI: 10.1016/j.acme.2013.07.006