Se estima que, en el pico de la diversidad de las hienas, a finales del Mioceno, al menos 24 especies de hienas diferentes recorrieron Eurasia y África simultáneamente. Afortunadamente existe un bastante extenso registro fósil de la Hyaenidae, y su cuidadoso análisis ha revelado mucho acerca de los estilos de vida de las hienas extintas, así como sobre su distribución en el espacio y el tiempo.
Aunque las hienas existentes son bastante similares a los perros en muchos aspectos de su apariencia, la familia Hyaenidae en realidad pertenece al suborden carnívoro Feliformia, que también contiene gatos, mangostas, civetas, y aliados. Las hienas están más estrechamente relacionados con los gatos y otros taxones Feliformes que a los carnívoros Caniformes, tales como perros, osos, o comadrejas.
Los datos fósiles sugieren que los miembros de la familia Hyaenidae compartieron un ancestro común con su taxón hermano Feliformes en el Oligoceno, hace unos 25 millones de años, y los datos moleculares recientes sugieren que esta divergencia se produjo incluso antes, aproximadamente millones de años. Los datos moleculares sugieren además que el grupo hermano de la Hyaenidae es un clado Feliforme que contiene las mangostas (familia Herpestidae) y la fosa (género Cryptoprocta) y un pequeño carnívoro de Madagascar, familia Viverridae.
La historia de la familia Hyaenidae se desarrolló en Eurasia y África. Sólo un hiénido ( Chasmaporthetes ) llegó a América del Norte, y no existieron nunca hienas en América del Sur o Australia. La mayor parte de esta historia evolutiva se desplegó durante el Mioceno, que comenzó haca 23 millones de años, y abarcó unos 18 millones de años.
Aunque los datos moleculares indican que la divergencia entre la Hyaenidae y su clado hermano (grupo que contiene mangostas y la fosa) se produjo hace 25-29 millones de años, las primeras hienas no aparecen en el registro fósil hasta varios millones de años más tarde. La familia hiena nació en el hábitat húmedo, cálido y boscoso que cubría la mayor parte de Europa, Asia y África durante el Mioceno inferior. Los fósiles más antiguos son especímenes encontrados en Francia que datan de hace 18 millones de años. Sin embargo, no aparecen en el registro fósil de África hasta aproximadamente 14 millones de años. Los hiénidos del Mioceno Temprano se parecían muy poco a las formas vivas hoy, y ninguno de ellos eran capaces de agrietar grandes huesos. En cambio, los primeros hiénidos eran generalmente pequeños o medianos carnívoros que se parecían a las civetas y mangostas en su forma y estilos de vida.
Los primeros hiénidos claramente ocuparon radicalmente diferentes nichos ecológicos. En un principio ocuparon nichos omnívoros e insectívoros. Los miembros del género Protictitherium eran criaturas con la dentición generalizada, lo que sugiere que probablemente se alimentaban de pequeños mamíferos, aves, insectos y quizás también un poco de fruta. Su esqueleto post-craneal se adaptó a la vida arbórea, y de hecho estos animales incluso retuvieron garras retráctiles que se perdieron durante la evolución posterior de las hienas.
El principio del otro género, Hyaenid, incluyó un grupo de pequeños (aproximadamente 2 kg) animales que se parecían a las mangostas modernas en la forma del cuerpo. Sus dientes sugieren que dependían principalmente de los insectos, aunque también aparentemente consumieron algunos de los mismos a otros tipos de alimentos que los Protictitherium.
Las hienas se fueron diversificado durante todo el Mioceno Medio. Esta primera gran radiación de la Hyaenidae produce una amplia gama de formas similares a los perros. Muchos de los hiénidos que aparecen durante esta primera radiación eran animales con las proporciones del cuerpo, cráneos y dientes similares a los de los cánidos modernos, por lo que las hienas como-perro, presumiblemente, ocuparon muchos de los mismos nichos ecológicos que los ocupadas hoy por zorros, chacales, lobos, coyotes y perros de caza. Ninguna de las especies en esta primera radiación se especializó en el craqueo de huesos.
El Hyaenidae se continuó diversificando a lo largo del Mioceno tardío, logrando un pico en la diversidad de especies hace 11-7 millones de años. Un segundo grupo de hienas , parecidas a los perros, apareció en el Mioceno tardío. A estas nuevas hienas se les conoce por muchos paleontólogos como “hienas cazadoras”. Los animales de este grupo eran generalmente más grandes que las anteriores formas de hienas. Los dientes de las hienas cazadoras muestran un marcado desarrollo de una dentición extendida, especializado para el corte de la carne. Así, estos animales estaban en una trayectoria evolutiva radicalmente diferente a las formas de hienas que eventualmente evolucionaron a la dentadura rompe huesos actual de la hiena manchada.
La primera hiena que podía romper huesos con sus mandíbulas, Adcrocuta eximia, no aparece en el registro fósil hasta finales del Mioceno. El cráneo de esta hiena tiene un parecido muy cercano al de las hienas manchadas, marrón y rayadas modernas. Sin embargo, la Adcrocuta tenía una musculatura mucho más robusta, con extremidades robustas cortas, esta especie parece haber tenido un gran éxito ya que sus restos fósiles se encuentran por toda Eurasia y el norte de África. La aparición de Adcrocuta fue seguida por la segunda gran radiación de las hienas, que implica la aparición de varios otros géneros morfológicamente especializados para el craqueo de huesos, incluyendo la hiena del tamaño de un león Pacyhcrocuta brevirostus. Con un peso de aproximadamente 150 kg, el Pacyhcrocuta es la hiena más grande jamás conocida. Dado que su hocico era más corto que los de otras hienas, esta especie se conoce comúnmente como la “hiena de cara corta”.
Los cuatro géneros existentes de hienas al parecer se originaron en África, habiendo antes llegado sus antepasados desde Eurasia a través de un puente de tierra en lo que hoy es Arabia Saudita. Los géneros Hyaena , Parahyaena y Crocuta todos aparecen por primera vez en el registro fósil en el Plioceno superior, por lo que estos tres géneros se encuentran entre los más recientemente evolucionados dentro del clado de las hienas craqueadoras de huesos. A pesar de que las hienas pardas (Parahyaena) se conocen desde el Pleistoceno en el este de África, sólo habitan en el sur de África en la actualidad. Las hienas rayadas (Hyaena) se distribuyeron fuera de África hace 130.000 años, hoy estas hienas se distribuyen a baja densidad en parches en todo el este, el oeste y el norte de África, Oriente Medio y Asia Central hasta el norte de Georgia y por el este hasta Nepal. El lobo de tierra (Proteles) no aparece en el registro fósil hasta el Pleistoceno; Actualmente estos animales se encuentran en dos poblaciones discretas, una en el este de África y otra en el sur de África. Los primeros miembros del género Crocuta aparecen por primera vez en el registro fósil de África en el Plioceno temprano, fechado en aproximadamente 3,7 millones de años. Sin embargo, los miembros de este género pronto se dispersaron fuera de África, y en base a los fósiles de la época de su rango más alto de expansión, en el Pleistoceno, el género Crocuta ocupaba prácticamente toda Europa y Asia.
Este género dio lugar a las hienas manchadas modernas, aunque la forma existente del Crocuta no aparece en el registro fósil hasta hace muy poco (sólo 900.000 a 200.000 años).