Ich arbeite mit Maya aber das UV-Mapping ist immer das selbe.
Wie oben bereits erwähnt steckt da immer ein algorithmus dahinter diese unterscheiden sich von Programm zu Programm.
Dein Problem ist folgendes als Beispiel:
Du hast einen Hund der Fiffi heißt und der an einer Latterne festgebunden ist. Du rufst fiffi und er kommt einfach nicht! (Weil er ja festgebunden ist)
Bei deiner Hand ist das genau so:
Der algorithmus versucht die UVs auszubreiten und wie Kaugumie nach außen zu ziehen, nur geht das nicht weil deine Finger an verschiedenen Stellen miteinander verbunden ist.
Hier ein Beispiel:
http://prntscr.com/lty59yAuf den ersten Blick sieht das Okay aus. Aber ich schneide die UV mal weiter auseinander relaxe einmal und verbinde nur eine Edge wieder. (Roter Stich)
http://prntscr.com/lty6h5Du siehst sofort das diese Teile so nicht zusammenpassen KÖNNEN. Wenn du das doch tust, erzwingst du quasi distortions an diesen Stellen.
Willst du an diesen Stellen also keine Distoritions haben, musst du deine UV weiter zercutten und dann kommt auch der Algorithmus besser damit klar.
Sind die teile miteinander verbunden, versucht der Algorithmus die UVs einige mal auseinander zu bekommen und zieht einmal an der einen UV und einmal an der anderen, Dadurch dreht sich die UV immer ein bisschen.
Vergleichbar mit einem Puzellteil das an einer bestimmten Stelle nicht passt das du aber mit gewalt reinhämmerst. Wenn das Automatisch geschehen würde und du die passende Stelle finden willst, dann würdest du das Puzzelteil auch mehrmals drehen um auf ein Ergebnis zu kommen.
Für dieses Problem gibt es einen Namen: Das nennt sich Non-Manifold geometry ich denke in verbindung mit Max wirst du hierzu einiges im Netz finden.
Kurz: Manifold Geometry ist ein Mesh das sich aufgrund seiner Beschaffenheit nicht relaxen lässt.
Stell dir einen Cube vor bei dem du die obere Flläche und eine Fläche an der Seite löschen tust. Nun verbindest du die Edges an den Ecken miteinander und willst diese Releaxen. Das geht so nur wenn die Edges an den richtigen Stellen zercuttet sind.
Hier mal das beispiel:
http://prntscr.com/ltybmfDie schwarzen Flächen sind Rückseiten und die Frauen Flächen sind die Vorderseiten.
Hier hab ich vorderseite mit der Rückseite des Faces Links geweldet.
Klar das der Algorithmus hiermit nicht klarkommt. Da er nicht weiß wo vorne, hinten oben und unten ist.
Bei deiner Hand ist das nun nicht so krass wie bei dem Würfel aber das Basis Problem ist das selbe.
Wie gesagt such einfach mal nach Manifold Geometry und überleg dir wo du die Cuts am besten setzen kannst, damit das nicht passiert.