Studie

Pre-StudiePre-Study

Im Rahmen einer Vorstudie zum Projekttag wurde ein Experiment durchgeführt, um zu untersuchen, wie die Positionierung einer Bauanleitung die Effizienz und Benutzerfreundlichkeit beim Zusammenbau eines Lego-Sets beeinflusst. Ziel war es, erste Erkenntnisse für eine umfassendere Studie mit einem fertigen Prototyp zu gewinnen. Zwei Positionen der Bauanleitung wurden getestet: eine auf Augenhöhe an der Wand und eine direkt neben der Arbeitsfläche. Die Teilnehmer bauten das Lego-Set in beiden Positionen und beantworteten anschließend Fragen zu ihren Erfahrungen.

Die Ergebnisse zeigten, dass die Positionierung der Bauanleitung neben der Arbeitsfläche die Bauzeit verkürzte, die Kopfbewegungen reduzierte und von den meisten Teilnehmern als benutzerfreundlicher wahrgenommen wurde. Diese Erkenntnisse unterstreichen die Bedeutung der Display-Positionierung für die Effizienz und Zufriedenheit der Nutzer.

Diese Daten sind wertvoll für die Planung einer umfassenden Folgestudie. Eine detaillierte Untersuchung mit einer höheren Teilnehmerzahl und einem verfeinerten Design ist erforderlich, um die Effekte der Positionierung statistisch zu bestätigen. Empfohlene Anpassungen umfassen die Erhöhung der Teilnehmerzahl für eine genauere Analyse der Unterschiede zwischen den Positionen, die Überprüfung der Komplexität der Lego-Sets, um zu testen, ob die Effekte auch bei komplexeren Aufgaben bestehen, sowie die Erweiterung des Fragebogens, um tiefere Einblicke in die Benutzerzufriedenheit zu erhalten. Weitere Messungen über mehrere Runden hinweg sollten durchgeführt werden, um die Entwicklung von Effizienz und Fehlerraten über die Zeit besser zu verstehen

As part of a pre-study on the project day, an experiment was conducted to assess how the positioning of a building manual affects efficiency and user-friendliness when assembling a Lego set. The goal was to gain initial insights for a future, more extensive study with a finished prototype. Two manual positions were tested: one at eye level on the wall and one next to the work surface. Participants built the Lego set in both setups and answered questions about their experience.

Results showed that placing the manual next to the work surface reduced construction time, minimized head movements, and was perceived as more user-friendly. These findings underscore the significance of display positioning for user efficiency and satisfaction.

The data are valuable for planning a comprehensive follow-up study. A detailed investigation with more participants and a refined design is recommended to statistically confirm the effects of positioning. Suggested adjustments include increasing the number of participants for a more precise analysis of positional differences, verifying the complexity of the different Lego sets to test if the effects persist within the build, and expanding the questionnaire to gain deeper insights into user satisfaction. Additional measurements over multiple rounds should be conducted to better understand how efficiency and error rates evolve over time.

EinleitungIntroduction

Zur Evaluierung unseres entwickelten Prototyps wurde eine abschließende Laborstudie durchgeführt, um die Effektivität, Effizienz und allgemeine Nutzerzufriedenheit bei der Nutzung der Projektion zu untersuchen. Im Rahmen dieser Studie wurde die grafische Benutzeroberfläche (GUI) des Prototyps angepasst, um eine Bauanleitung mit 16 Schritten darzustellen, wobei jeder Schritt auf einer separaten Seite angezeigt wurde.

Der Wechsel zwischen den Seiten erfolgte durch zwei neu implementierte Gesten: Eine flach ausgestreckte Hand leitete zur nächsten Seite weiter, während eine zur Faust geschlossene Hand die Seite zurück navigierte.
Die zentrale Forschungsfrage der Studie lautet: Inwiefern beeinflussen die Positionierung der Bauanleitung (auf Kopfhöhe an einem Monitor vs. projiziert neben der Arbeitsfläche auf dem Tisch) sowie die Interaktionsmethode (Gestensteuerung vs. Sprachsteuerung) die Bauzeit und die Fehlerhäufigkeit beim Zusammenbau eines Lego-Sets.
Es wurde erwartet, dass eine Bauanleitung neben der Arbeitsfläche die Effizienz steigert. Zudem wurde vermutet, dass die Sprachsteuerung intuitiver und daher effizienter ist als die Gestensteuerung, da Gestensteuerung möglicherweise ungewohnt und weniger präzise sein könnte.
To evaluate our developed prototype, a final lab study was conducted to investigate the effectiveness, efficiency, and overall user satisfaction when using the projection. In this study, the graphical user interface (GUI) of the prototype was adapted to display a 16-step assembly guide, with each step shown on a separate page. The transition between pages was controlled by two newly implemented gestures: a flat hand moved to the next page, while a closed fist navigated back to the previous page.
The central research question of the study is: To what extent do the positioning of the assembly guide (at head height on a monitor vs. projected next to the work surface on the table) and the interaction method (gesture control vs. voice control) influence the assembly time and error frequency when building a Lego set. It was expected that placing the assembly guide next to the work surface would increase efficiency. Additionally, it was hypothesized that voice control would be more intuitive and therefore more efficient than gesture control, as gesture control might be unfamiliar and less precise.

StudiendesignStudy Design

Die Studie untersuchte vier verschiedene Konditionen beim Aufbau eines Lego-Sets:

1. Die Lego-Bauanleitung neben dem Arbeitsplatz, dargestellt über die Projektion und bedient durch Gestensteuerung.
2. Die Lego-Bauanleitung neben dem Arbeitsplatz, dargestellt über die Projektion und bedient durch Sprachbefehle an einen “Springer”.
3. Die Lego-Bauanleitung auf Kopfhöhe, dargestellt über einen Monitor und bedient durch Gestensteuerung.
4. Die Lego-Bauanleitung auf Kopfhöhe, dargestellt über einen Monitor und bedient durch Sprachbefehle an einen “Springer”.
Die Aufgabe der Probanden bestand darin, insgesamt vier LEGO-Sets unter den genannten Konditionen aufzubauen. Das Studiendesign folgt demnach einem Within-Group-Design, bei dem jeder Proband an allen Konditionen teilnimmt. Dies hat den Vorteil, dass die Variabilität zwischen den Konditionen konstant bleibt und ein direkter Vergleich der Gesten- und Sprachsteuerung sowie der Projektion neben dem Arbeitsplatz und der Darstellung auf dem Monitor auf Kopfhöhe möglich ist.
The study examined four different conditions in the assembly of a Lego set:

1. The Lego assembly guide next to the workspace, displayed via projection and operated through gesture control.
2. The Lego assembly guide next to the workspace, displayed via projection and operated through voice commands given to an voice-assistant.
3. The Lego assembly guide at head height, displayed on a monitor and operated through gesture control.
4. The Lego assembly guide at head height, displayed on a monitor and operated through voice commands given to an assistant.
The task for the participants was to assemble a total of four LEGO sets under the given conditions. The study design follows a within-group design, where each participant experiences all conditions. This has the advantage of keeping variability between conditions constant, allowing for a direct comparison of gesture and voice control, as well as the projection next to the workspace and the display on a monitor at head height.

StudienergebnisseStudy Results

Durchführungszeiten Execution Times
Die kürzeste Durchführungszeit zum Aufbau eines Lego-Sets, dessen Bauanleitung neben der Arbeitsfläche projiziert war und über Sprachbefehle an den Springer gesteuert wurde (Kondition “Tisch + Sprache”), lag im Durchschnitt bei 129 Sekunden. Darauf folgt die Kondition “Wand + Sprache”, die durchschnittlich 153 Sekunden dauerte. Die Durchführungszeiten von Kondition “Tisch + Geste” und “Wand + Geste” dauerten etwa 184 Sekunden und 194 Sekunden.
Damit ist erkennbar, dass die Konditionen, in denen die Bauanleitung mit der Gestensteuerung bedient wurde, die längsten durchschnittlichen Durchführungszeiten haben. Dies deckt sich mit unseren Erwartungen vor der Studie, dass das Erlernen der Gestensteuerung weniger intuitiv ist als die Sprachsteuerung und sich dies dementsprechend auch negativ auf die benötigte Zeit beim Bauen auswirkt.
The shortest completion time for assembling a Lego set, where the assembly guide was projected next to the work surface and controlled via voice commands given to the assistant ("Table + Voice" condition), averaged 129 seconds. This was followed by the "Wall + Voice" condition, which took an average of 153 seconds. The completion times for the "Table + Gesture" and "Wall + Gesture" conditions were approximately 184 seconds and 194 seconds, respectively.
It is evident that the conditions in which the assembly guide was controlled using gesture control had the longest average completion times. This aligns with our pre-study expectations that learning gesture control is less intuitive than voice control, which negatively impacts the time required for building.
System-Usability-Scales System-Usability-Scales
Die Ergebnisse der System-Usability-Scales zeigen, dass alle vier Konditionen als „gut“ bewertet wurden, wobei deutliche Unterschiede in der wahrgenommenen Benutzerfreundlichkeit erkennbar sind.
Die Kombination Wand + Sprachsteuerung erzielte mit einem durchschnittlichen SUS-Score von 88,19 die höchste Bewertung, was auf eine sehr positive und konsistente Benutzererfahrung hindeutet. Tisch + Sprachsteuerung folgte mit einem SUS-Score von 85,14, was ebenfalls hohe Akzeptanz und Zufriedenheit, jedoch mit etwas größerer Varianz in den Bewertungen, zeigt.
Wand + Gestensteuerung erhielt einen durchschnittlichen SUS-Score von 82,92, was eine solide, aber weniger akzeptierte Benutzerfreundlichkeit im Vergleich zur Sprachsteuerung bedeutet. Die niedrigste Bewertung erhielt Tisch + Gestensteuerung mit einem SUS-Score von 76,25, was zwar „gut“, aber stark von individuellen Präferenzen beeinflusst war.
Insgesamt wurde die Sprachsteuerung durchweg besser bewertet, insbesondere die Kombination aus Wand und Sprachsteuerung.
The results of the System Usability Scales show that all four conditions were rated as "good," though there are notable differences in perceived usability. The "Wall + Voice Control" combination received the highest average SUS score of 88.19, indicating a very positive and consistent user experience. "Table + Voice Control" followed with a SUS score of 85.14, which also indicates high acceptance and satisfaction, though with slightly greater variance in ratings.
"Wall + Gesture Control" received an average SUS score of 82.92, suggesting solid but less accepted usability compared to voice control. The lowest rating was for "Table + Gesture Control," with a SUS score of 76.25, which, while still "good," was heavily influenced by individual preferences.
Overall, voice control was consistently rated better, particularly the "Wall + Voice Control" combination.
Ranking der Konditionen Ranking of Conditions
Die Probanden bewerteten vier Konditionen nach ihrer Zufriedenheit, wobei Platz eins die angenehmste und Platz vier die unangenehmste Kondition darstellte. Besonders auffällig war, dass die Mehrheit den ersten Platz der Kondition „Tisch und Sprache“ zuordnete. Viele Probanden begründeten dies damit, dass die Bauanleitung neben dem Arbeitsplatz das Bauen erleichterte, da weniger Kopfbewegungen erforderlich waren, was zu weniger Fehlern führte. Außerdem wurde die Sprachsteuerung als intuitiver und schneller empfunden, da sie das Fokussieren auf die Bauanleitung erleichterte und das Bauen nicht unterbrochen wurde.
Im Gegensatz dazu wurde die Gestensteuerung als umständlich, ungenau und störend wahrgenommen. Sie führte oft zu Unsicherheiten, insbesondere beim Wechsel zwischen Bauschritten, da nach einer Geste häufig sofort eine neue erkannt wurde. Außerdem kam es vor, dass Gesten versehentlich während des Bauens erkannt wurden, wenn sich die Hand im Erkennungsbereich befand, was als irritierend empfunden wurde. Aus diesen Gründen bewerteten die meisten Probanden die Kondition „Tisch + Geste“ mit dem letzten Platz.
Die Kondition „Wand + Sprache“ wurde überwiegend auf den zweiten Platz gesetzt, während der dritte Platz von einer ähnlichen Anzahl an Probanden sowohl der Kondition „Wand + Sprache“ als auch „Tisch + Geste“ zugeordnet wurde.
The participants rated four conditions based on their satisfaction, with first place being the most pleasant and fourth place being the least pleasant condition. Notably, the majority assigned the first place to the "Table + Voice" condition. Many participants explained that having the assembly guide next to the workspace made building easier because fewer head movements were required, leading to fewer errors. Additionally, the voice control was perceived as more intuitive and faster, as it facilitated focusing on the assembly guide without interrupting the building process.
In contrast, gesture control was perceived as cumbersome, imprecise, and distracting. It often led to uncertainty, especially when switching between assembly steps, as a new gesture was frequently recognized immediately after the previous one. Additionally, gestures were sometimes accidentally recognized during the building process when the hand was in the detection area, which was found to be irritating. For these reasons, most participants rated the "Table + Gesture" condition last.
The "Wall + Voice" condition was predominantly placed second, while the third place was assigned by a similar number of participants to both the "Wall + Voice" and "Table + Gesture" conditions.
FazitConclusion

Insgesamt lässt sich festhalten, dass die Positionierung der Bauanleitung sowie die gewählte Interaktionsmethode einen deutlichen Einfluss auf die Effizienz, Fehleranfälligkeit und Benutzerzufriedenheit beim Zusammenbau eines Lego-Sets haben.

Die Ergebnisse zeigen, dass die Sprachsteuerung im Vergleich zur Gestensteuerung durchweg besser abschnitt. Besonders die Kombination aus einer auf Tischhöhe projizierten Bauanleitung und Sprachsteuerung erwies sich als am effektivsten und wurde von den Probanden als besonders intuitiv und benutzerfreundlich wahrgenommen. Diese Kondition führte zu den kürzesten Bauzeiten und der geringsten Fehlerzahl, was die ursprünglich aufgestellte Hypothese bestätigt, dass eine Bauanleitung in unmittelbarer Nähe des Arbeitsplatzes in Verbindung mit einer intuitiven Steuerungsmethode die Arbeitsprozesse optimieren kann.

Im Gegensatz dazu zeigte sich die Gestensteuerung als weniger effizient und weniger beliebt. Insbesondere bei der Kombination mit einer auf Kopfhöhe dargestellten Bauanleitung auf einem Monitor erwies sich diese Methode als am wenigsten vorteilhaft. Probanden berichteten von Schwierigkeiten bei der korrekten Ausführung der Gesten, was zu längeren Bauzeiten und einer höheren Fehlerquote führte. Die Ergebnisse legen nahe, dass die Sprachsteuerung bevorzugt werden sollte, insbesondere in Arbeitsumgebungen, in denen eine hohe Präzision und Geschwindigkeit erforderlich sind.
Overall, it’s clear that both the positioning of the assembly instructions and the interaction method chosen significantly affect the efficiency, error rate, and user satisfaction when assembling a Lego set.

The results show that voice control consistently outperformed gesture control. The combination of instructions projected at table height with voice control was the most effective and was considered particularly intuitive and user-friendly by the participants. This setup led to the shortest assembly times and the fewest errors, confirming the hypothesis that placing instructions close to the workspace, paired with an intuitive control method, can optimize workflow.

On the other hand, gesture control proved to be less efficient and less preferred. This was especially evident when the instructions were displayed at eye level on a monitor, making it the least favorable option. Participants reported difficulties in performing the gestures correctly, resulting in longer assembly times and a higher error rate. The findings suggest that voice control should be prioritized, especially in environments where precision and speed are critical.