dimanche, octobre 15, 2006

Chiffres et lettres

Dans le cadre d'un projet du traitement Automatique des Langues (TALN, Style & diction like), j'ai effectué une etude de redability [en.wikipedia.org/wiki/Readability] (calcul de la lisibilite) des articles des bloggeurs tunisiens écrivants en anglais, et les plus actifs ( d:p الثرثارة برشة).
Cette étude à pour objectif d'évaluer la difficulté de compréhension de leurs notes, ou j'ai utilisé des algorithmes proposent les indicateurs suivants :

Gunning Fog Index:
Ce résultat indique le nombre d'année de scolarité demandé pour comprendre un texte. Plus le chiffre est bas, plus de monde pourra déchiffrer le contenu. (18 unreadable , 14 difficult, 12 ideal, 10 acceptable, 8 childish).

Flesch Reading Ease:
Pour ce test standard plus le score est haut plus le texte est simple. On s'attends en général à un score entre 60 et 70. Reader's Digest magazine possède un index de 65, Time magazine de 52, et the Harvard Law Review moins de 30 (source Wikipedia). (A score of 60 to 70 is considered to be optimal.)

Flesch-Kincaid Grade:
Comme pour le Gunning-Fog index, c'est une autre mesure de la scolarité exigée pour comprendre un texte mais adapté à l'index Flesh et au système éducatif américain. Un index de 7 veut dire qu'un élève de 7th grade (US) serait en mesure de comprendre le texte. (A score of 7.0 to 8.0 is considered to be optimal.)

Les resultats montrenet que les trois premiers de la classe sont :
  • Fog Index :
    • undergraduate-thoughts.blogspot.com
    • dianamagazine.blogspot.com
    • houblog.net
  • Flesch Reading Ease :
    • undergraduate-thoughts.blogspot.com
    • leilouta.blogspot.com
    • caoua.blogspot.com
  • Flesch-Kincaid Grade:
    • leilouta.blogspot.com
    • caoua.blogspot.com
    • undergraduate-thoughts.blogspot.com
Mais bizarrement, lorsque on lance le test sur tous les 225 blogs ont trouve que les Mr, Mle et Mme Tunisian English people (a l'exception de quelques uns), ne figurent pas dans la liste des meilleure classement des indicatreurs :)
+---------+---------+-------------------------------------+
| nb_post | kincaid | url blog |
+---------+---------+-------------------------------------+
| 4 | 7.40135 | http://blog.infinimentvotre.net |
| 23 | 7.53030 | http://leilouta.blogspot.com |
| 9 | 7.88279 | http://tunizian.blogspot.com |
+---------+---------+-------------------------------------+

+---------+---------+-------------------------------------+
| nb_post | fog | url blog |
+---------+---------+-------------------------------------+
| 6 | 11.9920 | http://salmazen.blogspot.com |
| 2 | 12.1904 | http://swifty.blogsome.com |
| 3 | 12.4236 | http://tom.phpmagazine.net |
| 15 | 12.4832 | http://dianamagazine.blogspot.com |
+---------+---------+-------------------------------------+
Tableau recapitulatif :
+-------------------------------------+------+-------+---------+----------+
| url blog | lang | fog | flesch | kincaid |
+-------------------------------------+------+-------+---------+----------+
| www.phpmagazine.net/ | en | 14.30 | 50.19 | 11.23 |
| mondher.blogspot.com | en | 16.00 | 41.14 | 13.43 |
| sleepless-jojo.blogspot.com | en | 13.58 | 58.70 | 11.71 |
| www.subzeroblue.com/ | en | 16.58 | 41.84 | 14.12 |
| undergraduate-thoughts.blogspot.com | en | 11.36 | 61.81 | 8.899 |
| thysdrus.blogspot.com | en | 21.62 | 19.71 | 18.03 |
| swobodin.fedora-tn.org | en | 16.16 | 44.43 | 13.22 |
| samsoum-usa.blogspot.com | en | 13.91 | 56.42 | 11.30 |
| dismalden.blogspot.com | en | 26.31 | 25.06 | 24.42 |
| poweredbynapo.blogspot.com | en | 15.30 | 47.89 | 12.64 |
| semihtunisie.spaces.live.com/ | en | 22.43 | 24.35 | 18.72 |
| leilouta.blogspot.com | en | 9.696 | 69.42 | 7.530 |
| houblog.net | en | 11,79 | 57,84 | 9,06 |
| arts-of-islam.blogspot.com | en | 21.00 | 22.67 | 18.26 |
| hatem.phpmagazine.net/ | en | 19.68 | 35.23 | 16.41 |
| doubtsandconvictions.blogspot.com | en | 13.36 | 49.01 | 10.71 |
| dianamagazine.blogspot.com | en | 12.48 | 56.38 | 9.752 |
| caoua.blogspot.com | en | 10.46 | 66.85 | 8.321 |
| ruecomedy.blogspot.com | en | 5.996 | 78.22 | 4.136 |
| kaizuko.wordpress.com | en | 11.52 | 61.41 | 8.957 |
+-------------------------------------+------+-------+---------+----------+
PS1 : J fait pas cette etude pour le plaisir, j'ai un projet a realiser :p
PS2 : Si vous n'aimez pas mes calcules, faite vous les votres :)
PS3 : Le test a été effectué avec un corpus comprenant 3678 notes dans 225 blogs tunisien le 15/10/2006.