Shakespeare escribió pentámetro yámbico porque era el metro de verso más común de la época. Él no lo estableció. Edmund Spenser lo utilizó en The Faerie Queene:

Yo, el hombre, cuya Musa en su momento hizo mascarada,
Como el tiempo le enseñó, en los humildes hierbajos de Shepheards,
Estoy ahora imponiendo una tarea mucho más inadecuada,
Para que las trompetas estrenen mis cañas de Oaten,
Y canten de Caballeros y Damas° hechos gentiles;

Y Christopher Marlowe en Dido Reina de Cartago:

Levántate. Ven gentil Ganimed y juega conmigo,
Te quiero bien, di Iuno lo que quiera.

Los poetas lo venían utilizando al menos desde el inglés medio, como Geoffrey Chaucer en los Cuentos de Canterbury:

Whan that aprill with his shoures soote
The droghte of march hath perced to the roote,
And bathed every veyne in swich licour
Of which vertu engendred is the flour;

(El primer par de versos es algo flojo en la métrica, pero el segundo dístico es bastante riguroso, de pronunciación aproximada: y BAH-thed EV’ry VEIN en SWICH li-QUOR/de QUÉ vir-TUE en-GEN-dred es el SUELO «.)

El «por qué» es simplemente que se percibe que se ajusta bastante bien a los ritmos naturales del inglés. El francés y el italiano utilizan con frecuencia líneas de seis pies, que corresponden más o menos al mismo número de palabras pero con más terminaciones de género. Las palabras inglesas tienden a mezclar sílabas acentuadas y no acentuadas, por lo que se producen yámbulos y troqueos en el discurso con bastante frecuencia. No sé realmente por qué elegimos el verso yámbico en lugar del trocaico; por lo que sé es arbitrario.

En cuanto a por qué escribió en verso en absoluto… en parte hace que las obras sean más fáciles de memorizar. Algún tipo de estructura te ayuda a recordar cómo encajan las palabras: un sonido da paso al siguiente. Las canciones son aún más memorizables, pero el verso en blanco parece ser lo suficientemente memorable para que los actores mantengan varias obras en el repertorio.

Y finalmente, simplemente suena bien. Al público le gusta el sonido del verso, que se remonta a la antigüedad. Puede tener una calidad hipnótica.

El pentámetro yámbico parece encajar en un punto dulce en el inglés de tener suficiente estructura para ser memorable y agradable, sin sentirse cantoso. Los distintos idiomas adoptaron formas diferentes para adaptarse a los sonidos comunes disponibles en esas lenguas.

Shakespeare escribió casi exclusivamente en verso para sus primeras obras, y se volvió más prosaico a medida que avanzaba, especialmente para los personajes cómicos. El verso transmite especialmente bien la fuerza del drama. Cuando se sintió más cómodo dejando que el juego de palabras llevara la comedia, empezó a escribir más prosa.