Par hasard, nous sommes tombés sur une information qui a affecté la vie de millions de gens, et était pourtant passée presque inaperçue.
Il y a quelques jours, une importante source de Spam a été localisée, et ses accès ont été coupés.
Cela n'aurait pas mérité la une des journaux si, à la suite de cette action, la quantité de spam émise dans le monde n'avait chuté de 30 à 50% !
En résumé, entre le tiers et la moitié du spam envoyé chaque jour dans le monde aurait été originaire de ce point précis de Californie.
Circonspects, nous avons alors regardé nos statistiques, et avons effectivement remarqué une baisse sensible (environ 35%) du nombre de spams que nous recevons, à partir du 12 novembre:
Ceci correspond bien à la date à laquelle le serveur Californien a été mis hors service.
La machine à pourriel n'est donc pas si multicéphale que ça. Bien sûr, les ordinateurs qui envoient physiquement les messages sont probablement des millions, la plupart le faisant à l'insu même de leur propriétaire. Mais il pourrait bien n'y avoir que quelques poignées de personnes à les contrôler.
Le répis ne sera que de courte durée, il ne faudra certainement pas beaucoup de temps pour que les malfaisants (probablement liés à la mafia russe) montent un nouveau serveur pour reprendre le contrôle de leur armée de PCs. En attendant, tous les serveurs de courrier du monde profitent d'un peu de répis...
Pour plus de renseignements sur cette affaire, voir ici, et, beaucoup plus détaillé mais assez technique et en anglais, là. |
|
|
| by Olivier Guillion |  |
| |
|
Nous avons reçu hier un e-mail de notre hébergeur Web, qui nous avertissait que le serveur de myriad-online.com avait été surchargé à la mi-journée, sans que le volume de données téléchargées ne montre rien de particulier.
Pensant qu'il pouvait s'agir d'un bug dans un de nos script, il nous a donc prévenu, en nous conseillant de vérifier le journal des erreurs de notre serveur.
Nous nous sommes donc empressés de le faire, et rien de spécial n'a pu être mis en évidence. Intrigués (et un peu inquiétés) par ceci, nous nous sommes alors résolus à examiner le fichier-journal quotidien, qui garde trace de tous les accès ayant été faits sur le serveur depuis minuit une.
Nous étions en début d'après-midi et ce fichier faisait déjà un bon poids (43 Mo).
En examinant les données enregistrées aux alentours de 13 heures, nous avons alors remarqué un nombre anormalement élevé d'accès aux pages du forum.
Pendant à peu près 10 mn, entre 12h55 et 13h05, plusieurs personnes (avec différentes adresses IP) faisaient plusieurs dizaines d'accès au forum chaque seconde.
Etant donné qu'à chaque accès, le script du forum doit recréér dynamiquement la page devant apparaître sur le navigateur de l'utilisateur, cela expliquait la saturation du serveur au bout de quelques minutes.
Mais qui étaient ces personnes? Plusieurs internautes équipés d'un aspitateur de site? A moins qu'ils ne soient de mêche, leur arrivée était trop simultanée pour être un simple hasard. Les pages consultées également : ils alternaient tous une lecture de fil de discussion, la consultation d'un profil, et une tentative de réponse à un fil ou une création d'un nouveau fil. N'ayant pas passé le stade de l'enregistrement de leur pseudo et de l'image "captcha", ils n'avaient pas le droit de poster, donc le forum n'avait pas souffert.
Nous avons donc commencé à rechercher les adresses IP de ces internautes sur Google. Dès les trois premières, nous nous sommes rendus compte que, depuis ces adresses, du spam était couramment envoyé.
Nous supposons donc qu'il s'agit de PC "zombies" (dont un pirate peut prendre le contrôle à l'insu de son propriétaire) ou des relais proxy ouverts (serveur mal configuré dont les pirates se servent pour masquer leur adresse IP) utilisés simultanément pour mener une attaque au spam sur le forum.
L'attaque, un peu trop violente, a donc conduit à la saturation temporaire du serveur.
Dans ce genre de cas, nous avons malheureusement peu de solutions, mis à part désactiver momentanément le forum. Si ce genre de mésaventure se produit trop souvent, nous devrons mettre en place un système automatique qui, lors d'accès répétés trop rapides au forum, couoera purement et simplement le script du forum pendant quelques minutes afin de tout laisser refroidir en attendant que ça passe. 
|
|
|
| by Olivier Guillion | |
|
| |
|
Les extractions de formes élémentaires (lignes, arcs) du caractère scanné s'étant avérées suffisamment stables, nous avons commencé à implémenter un module de reconnaissance proprement dit.
Une série de caractères connus (16000 caractères issus de diverses fontes) est envoyée à l'extracteur, et les formes élémentaires ainsi obtenues sont stockées.
Une fois cet apprentissage terminé, une autre série de caractères, issus d'une page scannée cette fois, est envoyée au programme, qui, en les comparant à ce qu'il a stocké lors de l'apprentissage, essaie de déterminer de quels caractères il s'agit.
Premiers essais. Le programme n'est pas aveugle, mais un peu myope. Il commet des erreurs, mais donne généralement comme résultat un caractère assez proche (Q au lieu de O, c au lieu de e, etc.)
Il faut maintenant essayer d'améliorer tout cela. |
|
|
| by Olivier Guillion | |
| |
|
Pour faire suite au dernier billet, nous avons amélioré la recherche de formes élémentaires dans les images scannées.
En plus des segments de droites, nous avons ajouté des arcs de cercle. Voici ce que cela donne avec les caractères pris en exemple la dernière fois.
A gauche, l'image originale du caractère scanné, au centre, les primitives graphiques qui en ont été extraites, dessinées en lignes fines, et à droite, les mêmes, dessinées en lignes épaisses:
Certaines lignes dépassent, car les calculs prennent en compte les bords extérieurs de la forme d'origine. Les formes extraites sont donc généralement trop longues d'une demi-épaisseur du tracé du caractère scanné. Ce sera ajusté, si besoin est.
Il nous reste maintenant à trouver une manière efficace de comparer ces données à un jeu de référence. Nous planchons toujours là-dessus.
|
|
|
| by Olivier Guillion | |
|
| |
|
Pour reconnaître un caractère, il faut pouvoir le comparer à un ou plusieurs caractères de référence, afin d'en déduire un niveau de similarité.
Mais quelles données comparer? La présence de pixels allumés ou éteints à tel ou tel endroit ? Cela est trop sensible à la fonte utilisé, la taille, le "bruit" dû aux imperfections du papier ou du scan...
Il faut donc fournir à l'algorithme de classification des données sur le caractère scanné à reconnaître, qui soient à la fois peu nombreuses, pour faciliter et accélérer les comparaisons, mais également qui décrivent bien la forme du caractère, pour que l'algorithme ait suffisamment de matériel pour discriminer.
Si l'extraction des caractéristiques de l'image du caractère scanné fournit des données qui, quelle que soit la manière dont on les représente, ne permettent pas à un observateur humain de savoir de quel caractère il s'agissait, il y a fort à parier qu'un algorithme ne le pourra pas non plus (ou mal).
Dans cette optique, nous avons essayé de "vectoriser" l'image, c'est-à-dire, à partir du dessin du caractère, trouver le nombre minimal de formes graphiques (droites, arcs de cercle, etc) qui permettent de redessiner ce caractère, et suffisantes pour qu'un observateur humain puisse déterminer de quel caractère il s'agissait.
Le travail est complexe, mais nous sommes arrivés à d'assez bon résultats. En voici quelques exemples, en utilisant seulement des lignes droites :
A gauche un petit "a" extrait d'un texte scanné.
A droite, l'image décomposée (vectorisée) par l'algorithme en seulement 5 lignes droites
Avec un peu d'imagination, on peut aisément reconnaitre le "a" dans le dessin de droite. Cela ressemble à un petit "a" tracé à la main par un allergique aux courbes 
Même chose avec un petit "d" (4 lignes) :
Un "M" donne ceci (5 lignes, dont une pour le serif à gauche):
et enfin un grand A, décomposé en seulement trois lignes:
Les premiers résultats sont donc encourageants, car il réduisent grandement la quantité d'information fournie à l'algorithme. Il faut maintenant vérifier la stabilité de l'extraction des vecteurs, puis trouver comment comparer deux jeux de vecteurs afin de reconnaître la lettre.
Il n'est cependant pas encore certain que ce type de traitement sera retenu dans la version finale. Nous avons jusqu'ici développé une vingtaine d'algorithmes différents, avec plus ou moins de succès. Nous en conserverons, au final, un maximum de 3 ou 4. Tous les autres finiront à la poubelle |
|
|
| by Olivier Guillion | |
| |
|
Toujours à la recherche de l'algorithme parfait de reconnaissance de caractère, l'intuition rejoint les conclusions de la documentation disponible à ce sujet : un tel algorithme n'existe pas.
Certains sont efficaces, d'autres un peu moins, mais les meilleurs résultats finaux sont produits par des programmes qui utilisent plusieurs algorithmes à la fois.
Chacun analyse le dessin du caractère avec ses propres méthodes, s'attache plus précisément à tels ou tels aspects, le compare avec des caractères de référence qui lui sont propres.
A la fin, les résultats de tous les algorithmes sont comparés, et l'issue finale de la reconnaissance de ce caractère est soumise au vote. Le gagnant est celui qui a été reconnu par le maximum d'algorithmes. Les taux globaux de reconnaissance sont, par ce principe, grandement améliorés.
De là à généraliser, et avancer que l'union et la démocratie sont préférables à l'individualisme et la dictature... |
|
|
| by Olivier Guillion | |
| |
|
Nous sommes maintenant capables de faire à peu près ce que nous voulons sur l'aspect du caractère : en extraire un squelette, détecter les trous et les bosses, les parties indépendantes au sein d'un même caractère (par exemple les point et la virgule d'un point-virgule, ou le "e" et son accent dans "é") et diverses données statistiques.
Il nous reste maintenant à choisir l'algorithme qui va déterminer la nature de ce caractère, par comparaison avec un jeu de référence (algorithme de discrimination).
Nous avons déjà exploré plusieurs possibilités, allant de la simple comparaison de matrice à un filtre bayesien, un réseau de neurones, la construction d'un arbre de décision, ou les modèles de Markov cachés (HMM)
Plusieurs de ces techniques s'avèrent efficaces, mais le résultat de l'apprentissage est difficile à vérifier à posteriori. On obtient une série de chiffres dont la signification n'est pas évidente pour l'observateur humain. En résumé, ça marche, mais c'est une boîte noire.
Or la pertinence des données que nous extrayons de la forme du caractère et qui servent à alimenter l'algorithme de discrimination est cruciale. Il faut fournir à cet algorithme les données permettant de différencier le mieux possible chacun des caractères. Si nous envoyons ces données vers une boîte noire, nous ne pouvons pas savoir quel paramètre mériterait d'être affiné ou remplacé par un autre pour de meilleurs résultats. On peut simplement essayer, et voir si le résultat s'améliore. Cela revient un peu à tirer des flèches les yeux bandés en essayant de s'approcher du centre de la cible.
Nous travaillons donc dans ce sens, en expérimentant et en recherchant de la documentation. Cela risque de prendre un peu de temps... |
|
|
| by Olivier Guillion | |
| |
|
Afin de simplifier les comparaisons de caractères , nous avons travaillé sur la squelettisation.
Ce procédé permet de transformer des formes pleines en "fil de fer". Grâce à cela, on pourrait s'affranchir des épaisseurs de caractères, pour ne conserver que les données constituant effectivement la forme.
A partir de notre texte d'exemple:
nous avons appliqué l'algorithme de Zang-Suen, assorti d'un amincissement maximal. Sur un squelette, on pourrait appeler ça une décalcification :
Un autre algorithme de squelettisation, morphologique, celui-là, suivi de la "décalcification", donne des résultats légèrement différents :
Certains détails sont mieux conservés, mais de petites barres matérialisent l'épaisseur d'origine du caractère à certains endroits.
Peut-être qu'avec un bon élagage de ces petites branches, nous pourrons nous en servir, en conjonction avec le squelette précédent.
Nous nous attaquons maintenant aux méthodes de discrimination, c'est-à-dire le coeur de la reconnaissance proprement dite. Cela risque d'être plus difficile de montrer les résultats ici, de manière graphique. |
|
|
| by Olivier Guillion | |
| |
|
|
