To Örebro University

The growing inclusion of social robots in therapeutic situations raises a variety of unresolved legal and ethical issues, including risks to patient autonomy, human dignity and trust, the potentially life-threatening effects of inaccurate or malfunctioning technology, diminished privacy due to the reliance on enormous amounts of personal (sensitive health) data, new challenges to data security due to the cyber-physical nature of robots, and the problem of how to obtain informed consent to medical treatments based on opaque AI decision making. From this broad spectrum, the article deals with the protection of the health and safety of patients and care recipients under EU law. A more detailed analysis shows that neither the EU’s Medical Device Regulation nor its Artificial Intelligence Act adequately address the risks to patient health and safety that arise in many situations where AI systems are used in the healthcare and nursing sector. Against this backdrop, the article provides recommendations as to which aspects should be regulated in the future and argues for a public discussion about the extent to which we, as a society, should replace human therapists with AI-enabled technology.

Avatars allow users to create (digital) identities in virtual worlds - including the Metaverse; to express themselves, communicate, and interact with others. But how does the law protect these digital identities? What are the legal implications if an avatar is insulted, defamed, assaulted, harassed, or copied by other users (or their avatars)? What if a Metaverse platform provider restricts or even fully blocks an avatar’s ability to communicate and operate in the virtual space?

This research paper addresses these questions from a comparative law perspective, examining users’ rights related to their avatars. To this end, it analyzes the contractual relationships governing avatars, with a focus on the rights and obligations derived from platform terms and conditions, as well as the relevance of property and copyright law to digital identities, assessing both the possibilities and limitations of these frameworks. At its core, the paper argues for recognizing a new fundamental right to digital identities for users with regards to their avatars, based on Article 8 of the European Convention on Human Rights (ECHR). Given the increasing convergence of real and virtual identities, the paper concludes that virtual harm inflicted on users through their avatars should be recognized as morally and legally significant under Article 8 of the ECHR. Accordingly, personality rights already established in private law should extend to virtual identities in a manner analogous to their application to real-world identities.

Data-driven technologies introduce new privacy risks that are currently not (explicitly) addressed by European data protection law. Against this backdrop, the chapter discusses the general conceptual shortcomings of the GDPR, followed by an overview of the various issues that arise when applying EU data protection law to data-driven technologies and an analysis of the (often unclear and incoherent) relationship between the GDPR and EU digital law. A final section draws conclusions and provides recommendations on how the EU data protection legal framework could be improved to take sufficient account of data-driven technologies.

Generative KI-Systeme (generative AI; GenAI), insbesondere große Sprachmodelle (Large Language Models; LLMs) und die darauf basierenden Anwendungen wie OpenAI‘s. GPT, Microsoft’s Copilot, Google’s Gemini, Meta’s LLaMa und andere Modelle (wie BLOOM, Ernie 3.0 Titan und Anthropic's. Claude 2) haben das Potenzial, den Rechtsmarkt wie keine andere Technologie zu verändern. Die von der Firma OpenAI im November 2022 veröffentlichte Anwendung ChatGPT wurde nicht nur innerhalb eines Monats zur erfolgreichsten Internet-App aller Zeiten, vielmehr zeigte sich zugleich, dass sich LLMs in vielen unterschiedlichen Branchen einsetzen lassen, um Arbeitsprozesse zu optimieren.

KI-gestützte Lösungen können die juristische Arbeit beschleunigen und zum Teil auch verbessern. Gleichzeitig wirft ihre Verwendung jedoch eine Reihe ethischer, rechtlicher und gesellschaftlicher Fragen auf. Dies gilt auch für LLMs. Die für Juristen involvierten Risiken wurden bereits unmittelbar nach Einführung von ChatGPT deutlich: Zwei Anwälte in New York wurden zu einer Geldstrafe in Höhe von 5.000 USD verurteilt, weil sie bei Gericht einen Schriftsatz eingereicht hatten, der sechs von ChatGPT „erfundene“ Präzedenzfälle enthielt und an diesen selbst festgehalten hatten, nachdem das Gericht deren Existenz in Frage gestellt hatte.

Das Vorkommnis wirft für die Rechtspraxis eine Reihe von Fragen auf. Dürfen Kanzleien und Rechtsabteilungen LLMs (wie ChatGPT) in der juristischen Praxis überhaupt einsetzen? Welche Pflichten haben Anwälte, wenn sie sich auf GenAI verlassen möchten? Unter welchen Voraussetzungen sind Anwälte für mögliche Fehler des KI-Systems verantwortlich? Wie können Mandanten vor Risiken und Schäden beim Einsatz von LLMs geschützt werden? Liegt ein Fall der unerlaubten Rechtsdienstleistung vor, wenn ein Unternehmen wie OpenAI/Microsoft eine Anwendung wie ChatGPT zur Verfügung stellt, die (auch) für juristische Zwecke verwendet werden kann?

Das vorliegende Kapitel geht diesen Fragen nach, indem – im Anschluss an das vorangegangeneKapitel zu Legal Prompts (s. § 12) – zunächst die vielfältigen Einsatzmöglichkeitenvon GenAI im Rechtsmarkt überblicksweise dargestellt werden (→ Rn. 9 ff.).Im Anschluss wird erörtert, ob bereits das Anbieten von LLMs als (unerlaubte) Rechtsdienstleistungeingestuft werden kann (→ Rn. 39 ff.). In einem weiteren Teil werdensodann die (berufs-)rechtlichen Pflichten erörtert, die sich beim Einsatz von LLMs fürKanzleien und Rechtsabteilungen ergeben (→ Rn. 67 ff.). Ein abschließender Teil wirftschließlich einen Blick auf die KI-VO und die Frage, inwieweit dieser neue RechtsaktLLM-Tools, die zur Nutzung durch Unternehmen, Kanzleien und Rechtsuchende bestimmtsind, reguliert (→ Rn. 94 ff.).

Nach mehr als zweieinhalb Jahren intensiver Beratungen in Brüssel wurde am 8. Dezember 2023 ein politischer Kompromiss in den Trilog-Verhandlungen zur KI-Verordnung (KI-VO) erzielt. Besonders umstritten war bis zuletzt, wie sog. Basismodelle und generative KI-Systeme (wie ChatGPT), biometrische Systeme sowie KI in der Strafverfolgung reguliert werden sollen. Für eine kurze Zeit sah es so aus, als könnten die Verhandlungen vollends scheitern. Ende November 2023 sprachen sich die Regierungen der drei größten EU-Länder Frankreich, Deutschland und Italien gegen eine harte Regulierung von Basismodellen aus. Unterhändler:innen des Europäischen Parlaments hatten das Treffen daraufhin demonstrativ verlassen.

Der nun gefundene Kompromiss muss in den nächsten Wochen – bis Anfang Februar 2024 – noch finalisiert und vom Rat sowie vom Europäischen Parlament im Plenum abgesegnet werden. Eine finale Fassung der KI-VO lag bei Abfassung dieses Editorials Anfang Januar 2024 immer noch nicht vor. Schon jetzt lassen sich jedoch die Grundlinien der KI-Verordnung skizzieren und ihre Auswirkungen für Legal Tech-Anwendungen abschätzen.

Nach mehr als zweieinhalb Jahren intensiver Beratungen wurde am 8.12.2023 ein politischer Kompromiss zur KI-Verordnung (KI-VO) erzielt. Zwar lag die finale Version bei Abfassung dieses Newsletters noch nicht vor. Schon jetzt lassen sich jedoch die Auswirkungen der KI-VO für Legal Tech (LT)-Anwendungen skizzieren. 

Der Beitrag analysiert die wichtigsten Vorschriften der KI-Verordnung zu Hochrisiko-KI-Systemenund die in diesem Zusammenhang auftretenden praxisrelevanten Fragen, indem derAnwendungsbereich, die Kriterien zur Klassifizierung als hochriskant, die materiellenAnforderungen sowie die Pflichten von Anbietern und Betreibern von Hochrisiko-KISystemendiskutiert werden.

This chapter analyses whether the AI Act sufficiently addresses consumers' interests and how the regulation blends into the existing system of consumer law. Section 15.2 provides an overview of the use of AI in consumer markets and the related risks for consumers, followed by a summary of the AI Act in section 15.3. Section 15.4 then focuses on prohibited practices, while section 15.5 analyses how so-called "generative AI systems" are regulated. Section 15.6 thereafter addresses the definition of high-risk AI systems and the corresponding mandatory requirements as well as the role of harmonised standards and conformity assessment procedures to protect consumer interests. Section 15.7 evaluates the provisions of the AI Act for low-risk AI systems, while section 15.8 examines how the AI Act will be enforced. Section 15.9 draws final conclusions.