News & Rumors: 13. April 2012,

Google-Suchergebnisse auf dem Eyetracking-Prüfstand: Wohin wandert das Auge?

Ergebnisse der Google-Suche zum Keyword Google
Ergebnisse der Google-Suche zum Keyword Google

In Angedenk an einen Schlager möchte ich anstimmen: Ja ja, jetzt wird wieder in die Hände gespuckt, denn ich steigere das Mecker-Sozialprodukt. Gretus hat im Blog von SeoUnited (un)glücklicherweise auf eine Bachelorarbeit von Hendrik Terbeck hingewiesen, der für die Arbeit ausgezeichnet wurde, in der er mittels Befragungen und Eyetracking versucht hat, herauszufinden, welchen Einfluss Elemente von Social Networks (im Speziellen der Google-Plus-Button) auf die Wahrnehmung von Suchergebnissen bei Google hat.

Zunächst: Großes Lob gilt dem Autor der Bachelorarbeit, der dafür ziemlich viel Aufwand betrieben hat, aber wahrscheinlich auch sehr interessiert an dem Thema war.

Die Verantwortung der Blogger?

Gibt es in der Bachelorarbeit Informationen über die Zusammensetzung der Probanden? Ja, die gibt es. Das ganze Kapitel 4 befasst sich mit diesen und weiteren Infos zum Versuchsaufbau und der Methodik. Da die Arbeit ja ausgezeichnet wurde, kann man davon ausgehen, dass solche Informationen enthalten waren, oder? Weil nur das akademisch korrekt ist. Drum ist es schad, dass von Gretus nicht darauf hingewiesen wird.

Nicht repräsentativ!

Jetzt aber die wichtigste Kritik: Der Autor der Bachelorarbeit selbst, Hendrik Terbeck, macht diverse Einschränkungen. Auf S. 39 bspw. schreibt er von einer “nicht-repräsentativen Stichprobe“, die sich zudem “nicht exakt paritätisch” zusammensetzt. Letzteres bedeutet, dass man es nicht geschafft hat, die Versuchs- und die Kontrollgruppe analog zusammenzustellen. Entsprechend sind die Ergebnisse in jedem Fall nicht eindeutig.

Dazu kommt ein Bias, weil manche der Probanden gar keine Sozialen Netzwerke nutzen/und oder kennen, und entsprechend der in der Arbeit dargestellte Zusammenhang nicht (ganz) eindeutig festgestellt werden kann. Es gibt, und da wird mir der Hendrik sicher zustimmen, einen ganz simplen Grund, warum man “als Student” eigentlich nie in der Lage ist, überhaupt repräsentativ zu forschen: Man ist auf die Hilfe anderer angewiesen. Man kann sich die Probanden nicht aussuchen und zumeist hat man dann ein Übergewicht einer Alterskohorte, die sich eben aus dem Studierendenumfeld rekrutieren. Dass viele Dinge, auch die Herkunft, der Intellekt oder auch das Geschlecht, Alter oder die Fitness und Gesundheit, ja selbst ob man als Frau zum Beispiel gerade die Regel hat oder nicht, einen Einfluss auf Versuchsergebnisse haben kann, karikiert so etwas dann schnell.

Der Hendrik selbst verwendet in seiner Arbeit Vokabeln wie “mutmaßlich” und gibt an, dass die Stichprobe “nicht” mal an die “empfohlene Anzahl” von Probanden heranreicht, weil das mit einem Mehraufwand verbunden gewesen wäre. Es ist verständlich, dass jemand, der in seiner Bachelorarbeit sowieso schon mehr gemacht hat als andere in ihrer Doktorarbeit, so eine Aussage tätigt. Das ist nur recht und billig. Nur deshalb muss man als Außenstehender aber gerade auf den Autor hören, wenn er uns selbst schon an vielen Stellen seiner Arbeit mit Einschränkungen begegnet.

Nur ER war sich auch im Klaren darüber, welche Tragweite seine Ergebnisse haben. Wenn aber nun in seinem SEO-Blog einzelne Tabellen und Diagramme veröffentlicht werden, und dort dann so getan wird, dass man auch nur irgendetwas daraus ableiten könnte, dann muss ich sagen, sollen wohl die Leser am Ende Glauben der Liter Benzin kostet 5 Euro und die Grünen sind daran Schuld. Wir wissen alle, dass das Anfang 2000 nicht stimmte, als die Schlagzeile in der BILD stand, und heute genauso wenig.

Zum Abschluss möchte ich dann noch etwas Versöhnliches sagen: Ich glaube der Gretus hat es “nur gut” gemeint.



Google-Suchergebnisse auf dem Eyetracking-Prüfstand: Wohin wandert das Auge?
3.6 (72%) 25 Bewertungen

Keine News mehr verpassen! Unsere App für iOS und Android mit praktischer Push-Funktion.

Zuletzt kommentiert






 2 Kommentar(e) bisher

  •  Gretus (13. April 2012)

    Hallo,

    als einer der reichweitenstärksten SEO Blogs sehen wir von SEO-united.de unsere Aufgabe in erster Linie darin, unsere Leser über aktuelle Neuigkeiten zu informieren bzw. sie (lediglich) darauf hinzuweisen.

    Die Bachelorarbeit von Hendrik sollte sich jeder an SEO interessierte Webseitenbetreiber einmal angucken, mehr wollten wir nicht sagen. Die meisten unserer Leser sind derart mit der Thematik vertraut, dass sie selbst entscheiden können welchen Nutzen sie daraus ziehen (oder nicht)…

    Grüße

    Gretus

  •  Hendrik Terbeck (13. April 2012)

    Hi Alexander,

    vielen Dank für die gründliche Lektüre meiner Arbeit. Das freut mich sehr! Eigentlich wollte ich heute einen Artikel schreiben, der inhaltlich genau mit diesem hier übereinstimmt.

    Auch wenn die bei seo-united.de veröffentlichten Abbildungen nicht für sich alleine stehen sollten und erst recht nicht verallgemeinert werden sollten, bin ich Gretus natürlich trotzdem sehr dankbar für das Sharen.

    Mir ist es wirklich wichtig, dass insbesondere die in der Arbeit erstellten Klickraten für die Ergebnisse nicht verallgemeinert werden. Dafür sind Eyetracking-Studien mit 50 Testpersonen nicht vorgesehen und Logfile-Analysen mit mehreren Millionne Queries viel besser geeignet. Sowohl die Klick- als auch die Fixationsverteilung ist immer abhängig von der Suchintention, den Suchbegriffen und dem Suchenden selbst. Man muss die Klickverteilungen aus Eyetracking-Studien deshalb immer im Kontext der jeweiligen Aufgabenstellung betrachten.

    Nochmals danke für deinen Artikel und das Interesse an dem Thema,
    Hendrik


Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht.


You may use these HTML tags and attributes: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>