Legal aspects of the use of artificial intelligence and robotics in medicine and care

Abstract

Die rasanten Entwicklungen im Bereich der Künstlichen Intelligenz und Robotik stellen nicht nur die Ethik, sondern auch das Recht vor neue Herausforderungen, gerade im Bereich der Medizin und Pflege. Grundsätzlich hat der Einsatz von KI dabei das Potenzial, sowohl die Heilbehandlungen als auch den adäquaten Umgang im Rahmen der Pflege zu erleichtern, wenn nicht sogar zu verbessern. Verwaltungsaufgaben, die Überwachung von Vitalfunktionen und deren Parameter sowie die Untersuchung von Gewebeproben etwa könnten autonom ablaufen. In Diagnostik und Therapie können Systeme die behandelnde Ärztin unterstützen. Intelligente Betten ermöglichen eine Frühmobilisierung der Patient:innen bei gleichzeitig geringerem Personalaufwand. Gleichwohl birgt der Einsatz der Systeme rechtliche Herausforderungen. So besteht das Risiko einer Verletzung der beteiligten Personen. Im Gegensatz zu herkömmlichen Technologien „leidet“ KI unter der „Black-Box-Problematik“: Die von den Systemen generierten Ergebnisse sind nicht mehr vollständig vorhersehbar und nachvollziehbar. Der Einsatz birgt unbekannte und unkalkulierbare Risiken, was sich insbesondere auf die zivilrechtliche Haftung und strafrechtliche Verantwortung auswirkt. Wem die Entscheidungen der Systeme normativ zuzurechnen sind, ist eine Kernfrage des juristischen Diskurses. Die aus praktikabilitätsgründen naheliegende Wahl, dem letztentscheidenden Menschen das Verhalten eines KI-Systems zuzurechnen, überzeugt nicht in allen Fällen, sondern degradiert ihn häufig zum symbolischen Haftungsknecht und legt ihm einseitig die Risiken der Technologien auf. Weiterhin ergeben sich im Bereich der Medizin und Pflege Fragen hinsichtlich der Zulassung von KI-Systemen, da die Maschinen während der Nutzung weiterlernen und so ihren strukturellen Aufbau kontinuierlich verändern. Es ist daher angebracht, sich frühzeitig mit dem Konfliktpotential aus ethischer und rechtlicher Sicht auseinander zu setzen, um einer potenziellen gesellschaftlichen Angst vor derartigen Systemen vorzubeugen und einen praxisgerechten Handlungsrahmen zu schaffen.

Definition of the problem: Rapid developments in the field of artificial intelligence (AI) and robotics pose new challenges not only to ethics but also to law, especially in the field of medicine and nursing. In principle, the use of AI has the potential to facilitate, if not improve, both curative treatments and adequate handling in the context of care. Administrative tasks, the monitoring of vital functions and their parameters, and the examination of tissue samples, for example, could run autonomously. In diagnostics and therapy, such systems can support the attending physician. Intelligent beds make it possible to mobilize patients early while at the same time reducing the need for personnel. Nevertheless, the use of these systems poses legal challenges. For example, there is a risk of injury to the people involved. Unlike conventional technologies, AI “suffers” from the “black box problem”: the results generated by the systems are no longer fully predictable and comprehensible. Its use entails unknown and incalculable risks, with particular implications for civil liability and criminal responsibility. Arguments: To whom the decisions of the systems are normatively attributable is a core question of legal discourse. The obvious choice, for reasons of practicability, of attributing the behaviour of an AI system to the human being who makes the final decisions is not convincing in all cases, but often degrades the human being to a symbolic “liability servant” and imposes the risks of the technologies on the human being in a one-sided manner. Furthermore, in the field of medicine and care, questions arise regarding the approval of AI systems, since the machines continue to learn during use and thus continuously change their structural design. Since the systems require any amount of reliable data for training and later use—especially through further learning—adequate handling of personal data is also necessary with regard to data protection law in the area of care and medicine. Conclusions: It is therefore advisable to address the potential for conflict from an ethical and legal perspective at an early stage in order to prevent a potential social fear of such systems and to create a practical framework for action. Orientation towards the guiding principle of “meaningful human control” offers the potential to solve these challenges.