Christophe Jacquet

Sauvegarde d'une carte SIM

Christophe Jacquet — Sun, 15 Jan 2012 19:07:00 +0100

Ce billet explique comment sauvegarder le contenu du répertoire téléphonique d'une carte SIM à partir d'un téléphone Bluetooth. Je l'ai utilisée avec succès sur un Nokia 6230i, mais cela doit s'adapter à tout type de téléphone. On suppose que l'ordinateur dispose d'un système de type Unix avec l'outil GNU Screen.

Préparatifs

1) Il faut d'abord apparier le téléphone et l'ordinateur. La procédure dépend du téléphone et du système d'exploitation. Ensuite on se connecte en console au téléphone :

screen /dev/tty...

2) Démarrer l'enregistrement de la session Screen dans un fichier :

C-A : logfile /path/to/file — on indique le fichier dans lequel la sauvegarde sera réalisée
C-A : log on — lancer la sauvegarde

Répertoire

3) Sélectionner le répertoire (phonebook) de la carte SIM :

AT+CPBS="SM"

4) Afficher le nombre d'entrées dans ce répertoire (réponse en italiques) :

AT+CPBR=?
+CPBR: (1-150),20,12

5) Liste les entrées de ce répertoire :

AT+CPBR=1,150

SMS

6) Sélectionner le mode texte pour la transmission des SMS :

AT+CMGF=1

7) Lister les modes de stockage :

AT+CPMS=?

8) Pour chaque mode de stockage (SM pour la carte SIM proprement dite, ME pour le mobile) :

AT+CPMS="SM"
AT+CMGL="ALL"

Pour plus de détails, voir mon article : Téléphone mobile et commandes AT (et Mac)

Nouvelles du RDS

Christophe Jacquet — Tue, 03 Jan 2012 21:16:00 +0100

PS dynamique en France

Les conditions de l'expérimentation de PS dynamique du CSA en France ont changé en 2011-2012 : les expérimentations de PS dynamique sont autorisées jusqu'à mai 2012, mais à condition d'être couplées à une diffusion en radiotexte, et au-delà de mai 2012, seul le radiotexte sera autorisé. ¡Olé!

Radiotexte sur Radio France

Le radiotexte sur France Musique et France Inter s'étend : après l'Île-de-France, j'ai constaté qu'il est diffusé à Bordeaux, et on rapporte que c'est le cas à Lille également. Au moins, l'arrêt de la radiomessagerie ex-Operator est mis à profit ! À quand une couverture nationale ? À quand le tour de France Culture et France Info ?

xRDS : extended RDS

Une proposition d'étendre la norme RDS est actuellement étudiée par le RDS Forum : xRDS pour Extended RDS. En gros l'idée est de diffuser plusieurs flux RDS standards sur plusieurs sous-porteuses (jusqu'à 6). Les flux supplémentaires seraient références depuis le flux « principal » à 57 kHz via une ODA, de sorte que le récepteur les fusionne. De plus xRDS propose de « compresser » les données transmises sur les flux supplémentaires. Par exemple, dans un groupe inutile de transmettre le bloc n°1 qui transmet le PI, vu que le PI est déjà codé par le flux principal. De même dans les groupes de type B, le bloc n°3 (répétition du PI) peut être omis, ou bien peut servir à coder le bloc n°4 d'un autre groupe de type B. L'idée est techniquement intéressante, car elle est rétro-compatible avec l'existant. Mais dans un contexte où l'on parle de remplacer éventuellement la diffusion FM analogique par de la radio numérique, les promoteurs pourront-ils convaincre des fabricants de sortir des récepteurs compatibles xRDS, et surtout des diffuseurs d'exploiter un canal de données qui ne serait pas reçu par le parc actuel de récepteurs ? Je suis extrêmement dubitatif.

RDS Surveyor version 0.8

J'ai publié une version 0.8 de mon décodeur RDS Surveyor. Elle reprend de nombreuses améliorations présentes depuis plusieurs mois dans le code publiquement accessible . Parmi les nombreuses nouveautés : compatibilité RBDS, compatibilité avec les fichiers de log de RDS Spy, multiples améliorations à l'interface graphique, accès direct à des données RDS disponibles sur le web, implémentation de l'ODA « EN301700 » (référencement de programmes DAB depuis le RDS, notamment utilisé par la BBC).

Je continue à travailler sur le projet, notamment sur un driver Windows libre pour la clé radio USBFMRADIO-RD. La version 1.0 approche !

La radio numérique pourra utiliser le DAB+ en France

Ce n'est pas du RDS, plutôt la relève à venir. La France avait choisi le T-DMB pour la radio numérique terrestre, contrairement à ses voisins européens qui avaient choisi le DAB+. T-DMB et DAB+ sont deux extensions du DAB, un standard développé depuis une vingtaine d'années. Au départ, DAB utilisait un codec audio MPEG-1/2 Layer II. De nos jours, il est plus intéressant d'utiliser un codec plus performant comme MPEG-4 AAC. T-DMB est une extension du DAB d'origine coréenne qui fait transiter sur le DAB un flux de transport MPEG-TS, qui peut contenir de l'audio et éventuellement de la vidéo, utilisant divers codecs (dont AAC). DAB+ est ciblé spécifiquement radio, et propose d'utiliser AAC sans avoir besoin du flux MPEG-TS. La France vient d'ajouter DAB+ à la liste des standards de diffusion possibles pour la future radio numérique.

Visite de Stockholm

Christophe Jacquet — Fri, 30 Dec 2011 18:15:00 +0100

Je me décide enfin (!) à publier cet article, écrit à la suite d'une visite en Suède en 2009, et qui était resté en souffrance. La Suède est un pays magnifique. Stockholm m'a beaucoup plu ; je suis également allé à Uppsala, que je recommande pour une petite escale.

Voici quelques idées pour une visite de Stockholm :

Le musée Vasa est fantastique. Le Vasa est un navire de guerre suédois qui a coulé lors de son lancement en 1628. Plusieurs tentatives de renflouement ont échoué, puis on a peu à peu oublié l'emplacement de l'épave, jusqu'à ce que des archéologues la retrouvent et remontent le bateau en 1961. Il a pu être mis en cale sèche, séché, stabilisé, et maintenant on peut le visiter. Il est dans un état remarquable ; la visite vaut vraiment le coup.
Le musée d'art moderne, qui occupe l'île de Skeppsholmen vaut également le détour, bien que la visite soit à mon goût un peu courte. Profiter de la visite au musée pour flâner sur l'île de Kastellholmen.
Flâner dans les rues est très agréable. N'hésitez pas à visiter plusieurs quartiers. Les incontournables : le quartier moderne près de la Centralstation, Gamla Stan (vieille ville), grande île de Södermalm (quartier branchouille). Au nord de Södermalm, l'ascenseur de Katarina offre une jolie vue, mais il est possible de monter en haut à pied, sans devoir payer la montée.
Il est possible de faire des expéditions d'un jour dans les îles. Par exemple, je recommande Vaxholm (photo), qui à la fois possède une petite zone commerçante sympathique, et dont il est possible de faire le tour à pied dans la nature. Plusieurs compagnies proposent une jolie croisière d'une heure environ (départ en face du Grand Hotel sur Södra Blasieholmshamnen). L'accès (ou le retour, pour changer) peuvent également se faire en bus, ligne 670 (carte basique de transports en commun valable).

Aspects pratiques :

Transports en commun : le métro (T-Bana) fonctionne très bien. Je recommande la travelcard 3 jours (20 €) ou 7 jours (26 €). On se la procure chez Pressbyrån, pas au guichet de la compagnie. Elle permet également d'accéder à tous les bus de la région.
Hébergement : pour un prix modéré, il est possible d'avoir de petits appartements (enfin petits, pas tant que ça d'ailleurs, comparativement au standard parisien...), très bien tenus, dans un hôtel, avec petit-déj. Il s'agit du StayAt Stockholm Bromma, à deux pas de la station de métro Alvik, à 20 minutes du centre. L'hôtel est immanquable : c'est la plus grande tour du quartier. Sortir du métro côté ouest, c'est-à-dire à l'avant du train en venant de Stockholm).

Liberté de panorama en France

Christophe Jacquet — Mon, 21 Nov 2011 23:09:00 +0100

Comme je le soulignais il y a quelques années, la liberté de panorama n'existe actuellement pas en France, contrairement à de nombreux pays.

Or un amendement visant à introduire cette liberté de panorama devrait être examiné ce mercredi à l'Assemblée nationale ! L'alinéa suivant serait introduit dans l'article pertinent du code de la propriété intellectuelle :

« Toutefois est autorisée la reproduction par la peinture, le dessin, la photographie ou le cinéma des œuvres de toute nature situées de manière permanente dans l'espace public, y compris à l’intérieur des bâtiments ouverts au public, ainsi que la distribution et la communication publique de telles copies. »

Cet amendement a des chances de passer car il est porté par des députés de la majorité. Mais vous voudrez probablement contacter votre député pour lui expliquer à quel point la liberté de panorama constituerait un progrès pour les libertés et le rayonnement culturel dans notre pays.

Voir le bistro de Wikipédia, avec quelques modèles de lettres à envoyer à son député.

Mise à jour, 24 novembre 2011 : amendement rejeté. 30 députés ont décidé au nom du peuple entier de maintenir la France dans son archaïsme. Voir la carte dans l'article lié ; la position singulière de la France en Europe est édifiante.

Décodage de capteur thermo-hygro TFA

Christophe Jacquet — Sun, 30 Oct 2011 22:22:00 +0100

Je possède depuis quelques jours un thermomètre-hygromètre intérieur-extérieur sans fil TFA Maxim II. TFA est une entreprise allemande qui commercialise des appareils de mesure électroniques ou non. L'entreprise semble être liée à La Crosse Technology, certainement plus connue. Notamment les deux marques diffusent des systèmes de mesure sans fil estampillés « IT+ Instant Transmission 868 MHz ». Mon capteur appartient à cette nouvelle famille.

Bien entendu, je me devais d'analyser le codage utilisé par cette transmission IT+... Je suis parti à la chasse avec un FUNcube Dongle, un génial récepteur SDR 64-1700 MHz qui se présente sous la forme d'une clé USB. Son principal défaut est sa bande passante limitée (environ 80 kHz), mais on peut raisonnablement imaginer que cela soit suffisant pour recevoir la modulation engendrée par un petit capteur.

Matériel utilisé pour ce projet : un capteur sans fil de la station météo photographiée ici, ainsi qu'un récepteur FUNcube Dongle muni d'une antenne boudin VHF-UHF.

F6FBB donne quelques informations sur le mode de modulation utilisé par certaines stations La Crosse : il s'agit basiquement de modulation d'amplitude (discrète). La porteuse est émise à l'état haut, mais pas à l'état bas. On peut voir ça comme de l'AM classique, où le signal modulant est un signal logique tout où rien. Certains parlent d'ASK (Amplitude Shift Keying) car c'est de l'AM discrète (ici, ce serait plus précisément de l'ASK à deux états). D'autres parlent d'OOK (On-Off Keying). L'UIT parle de classe A1B.

J'ai effectivement localisé une émission AM provenant de mon capteur, sur précisément 868,428 MHz. En réception AM audio, on entend de très brefs « clics » toutes les 4 ou 8 secondes (exemple). Il faut bien prendre garde à couper le contrôle automatique de gain (AGC) qui peut jouer des tours. Le signal en sortie d'un démodulateur AM a l'allure suivante (ici vu dans Audacity) :

F6FBB décrit la modulation utilisée par des capteurs La Crosse sur 433 MHz, qui est de type « modulation en largeur d'impulsion » : les 0 et les 1 génèrent des impulsions de largeurs différentes. Ici, l'oscillogramme montre que ce n'est clairement pas le cas, les passages à 0 ou à 1 étant de largeurs très diverses. Une seule hypothèse viable (et qui s'est avéré être la bonne) : il s'agit d'un signal logique brut, sans horloge (asynchrone), comme il peut en circuler sur des liaisons TTL ou RS232. Autrement dit, le train de bits d'une trame module directement la porteuse en tout ou rien. L'étude de plusieurs trames montre que les 8 premiers bits alternent toujours entre 0 et 1 (valeur binaire 0b10101010), ce qui permet de synchroniser l'horloge du récepteur.

Après une étude plus poussée, il s'avère qu'une trame comporte exactement 64 bits (8 octets). La transmission se fait à environ 17200 bit/s, bit de poids fort (MSB) d'abord. De plus, les 5 derniers octets suivent exactement le protocole déchiffré par Fred Bossard qui a analysé le trafic sur le bus SPI interne d'une station La Crosse IT+ ! Notamment, son travail de cryptanalyse du CRC m'a beaucoup facilité la tâche.

Au final, voici le contenu d'une trame, illustré sur l'exemple de trame ci-dessus :

Numéro quartet	Exemple (hexa)	Champ	Commentaires
0	A	Préambule	Mot de synchronisation, toujours 0xAA = 0b10101010.
1	A	Préambule	Mot de synchronisation, toujours 0xAA = 0b10101010.
2	2	Identificateur ?	Probablement un identificateur de fabricant et/ou de type de capteur, à confirmer. Chez moi il vaut toujours 0x2DD4.
3	D
4	D
5	4
6	9	Taille données	D'après Fred Bossard, la taille, en quartets, des données à venir jusqu'à la fin de la trame, CRC compris. Toujours 9.
7	6	Identificateur capteur	Identificateur du capteur, tiré aléatoirement au démarrage.
8	4	Identificateur capteur	Identificateur du capteur, tiré aléatoirement au démarrage.
9	5	Température dizaines	Le capteur transmet (temperature + 40) * 10. Le résultat, sur 3 chiffres, est codé en BCD. Ici 0x561 signifie +16,1°C.
10	6	Température unités
11	1	Température dixièmes
12	5	Humidité relative	Contrairement à la température, l'humidité relative est codée en binaire standard, pas en BCD. Selon Fred Bossard, la valeur 0x6A (106) indique l'absence du capteur hygrométrique. Ici la valeur est 0x53, soit 83 %.
13	3	Humidité relative
14	D	Mot de contrôle	CRC des 4 octets situés du quartet n°6 au quartet n°13. Le polynôme est \( x^8 + x^5 + x^4 + 1 \) (0x31), la valeur initiale 0, et il n'y a pas de XOR à la fin. Voir A Painless Guide to CRC Error Detection Algorithms.
15	1	Mot de contrôle

Le protocole utilisé par ces petits capteurs est donc assez simple. Quant à la modulation, elle est plutôt rudimentaire. J'ai intégré un décodeur de ces données à Pydemod, ma boîte à outils Python open-source pour le décodage de signaux radio. Pour la trame ci-dessus, Pydemod fournit les informations suivantes :

Frame: size 64 bits, contents [1 0 1 0 1 0 1 0 0 0 1 0 1 1 0 1 1 1 0 1 0 1 0 0 1 0
       0 1 0 1 1 0 0 1 0 0 0 1 0 1 0 1 1 0 0 0 0 1 0 1 0 1 0 0 1 1 1 1 0 1 0 0 0 1]
Frame hex contents: AA 2D D4 96 45 61 53
CRC: calculated=D1, received=D1
Temperature: 16.1 C -- Humidity: 83 %

Mon outil prend en entrée un fichier WAVE comme celui-ci. Il se synchronise initialement sur le préambule 0xAA, puis il profite de chaque front pour se resynchroniser.

N'hésitez pas à jouer avec vos capteurs et avec Pydemod ! Si vous analysez les émissions de vos capteurs IT+ 868 MHz, que ce soient des TFA ou des La Crosse, je serais ravi d'avoir vos résultats afin d'étoffer cet article.

Automatically merge calendars with Google Apps Script

Christophe Jacquet — Fri, 14 Oct 2011 23:07:00 +0200

I have several Google calendars: one for lectures, one for appointments, one for vacations, etc. I need to combine them automatically into a single ICS file. Surprisingly, this feature does not seem to exist off-the-shelf.

I have devised a solution based on Google Apps Script: a Javascript script runs periodically on the Google cloud, and generates the ICS file. Surprisingly, the script has to be in a Google Docs spreadsheet. The script editor is in the Tools menu. When the script works okay, it's possible to schedule its execution periodically in the script editor, via the Triggers menu. As easy as a good old cronjob.

I use the following script:

function eventToICS(event) {
  var tz = "Europe/Paris";
  var dateFormat = "yyyyMMdd'T'HHmmss";
  var res = "";
  res += "BEGIN:VEVENT\n";
  res += "SUMMARY:" + event.getTitle() + "\n";
  res += "DTSTART;TZID=" + tz + ":" + 
            Utilities.formatDate(event.getStartTime(), tz, dateFormat) + "\n";
  res += "DTEND;TZID=" + tz + ":" + 
            Utilities.formatDate(event.getEndTime(), tz, dateFormat) + "\n";
  res += "END:VEVENT\n\n";
  return res;
}

function aggregateCalendars() {
  var cals = CalendarApp.getAllOwnedCalendars();

  var ics = "BEGIN:VCALENDAR\nVERSION:2.0\n\n";
 
  var startDate = new Date();
  var endDate = new Date();
  
  startDate.setDate(startDate.getDate() - 50);
  endDate.setDate(endDate.getDate() + 500);
  
  for(var i=0; i<cals.length; i++) {
    ics += "COMMENT: " + cals[i].getName() + "\n\n";
   
    var events = cals[i].getEvents(startDate, endDate);
    for(var j=0; j<events.length; j++) {
      ics += eventToICS(events[j]);
    }
  }
 
  ics += "\nEND:VCALENDAR\n";

  // here do something with the ICS file...
}

Once the contents of the ICS file has been constructed, you can do whatever you want with it, for instance send it via e-mail. Personally I upload it onto a Google Sites page :

var page = SitesApp.getPageByUrl(pageURL);
page.addHostedAttachment(Utilities.newBlob(ics, "text/plain", filename));

KISS

Christophe Jacquet — Sun, 11 Sep 2011 15:58:00 +0200

A few years ago I administered a test in which I asked students to expand the KISS acronym (“Keep It Simple Stupid”). Although I had explained the KISS principle during the classes, I got some “interesting answers”:

Kinesthetic Interface State System
Keystroke Interface System Software
Keyboard Input Single Static
Keystroke Interface Selection
Knowledge Identify Simplify Steps
Keystroke Interface System
Knowledge Interesting Sensitive
Key Interface Sensitive Software
Keyboard, Interaction, Selection, Separation
Keystroke Interaction Simple
— Interface Simple Stupid
Keystroke Interaction — —
Keep It Simply Stupid
Keystroke Interface State
Keystroke Interface Selection State
Keyboard Interaction Service System
Keystroke Interaction Selection System
Keystroke Interaction Shape State machine
Keystroke Interaction System Solution
Keyword Interface Simple Services
Keystroke Interface Service Simple
Keep Interface Simple System
Keystrocking (sic) Interactivity Size Shape
Kiosk Interactive Simple Software
Keyboard Interface Signification Sensibility
Kinestesic Interaction Sensor Sensitive
Knowledgeable Interactive Simple Safe
and finally: Kabul Is Soft Saber (for Bush)

Twenty years of computing

Christophe Jacquet — Tue, 30 Aug 2011 22:47:00 +0200

I recently realized that it has been 20 years since I started computer programming. Here's how it all started.

The story begins in May 1991. At that time I had already used computers, namely a network of French-made Thomson MO5 6809-based microcomputers hooked up to a PC server, and a bunch of PC clones at the neighboring high school where my father was a teacher. I had shown “polite interest” in the thing, doing a bit of word processing, playing a bit with Logo. Yet, I had begun to conjecture the existence of “software allowing one to create software”. In short, I thought that computers were interesting devices, that maybe there was more to be found, but clearly I was not thrilled.

In May 1991 my last year in primary school was wearing out. I had borrowed a book about science and technology at my school's library. Among all the fascinating topics it introduced, two really caught my attention: computers and human sexuality. I decided to dive into the first of them right away. The chapter about computers in my technology book was 4 pages long, but it introduced computer programming. The core concepts were roughly explained, and there were one or two examples of programs written in Microsoft BASIC for the Thomson line of computers. This was really basic, but in two hours' time of reading this chapter, I felt I understood the whole point about programming and computers in general. I mean, I really got it. Immediately. I felt a whole new world had opened in front of me, and I felt my whole perspective on life had changed. And that day assuredly did change my life.

From that day on I was literally obsessed with one thing: writing computer programs. When my class was allowed to use the MO5 computers for playing games at the end of that school year, I used the opportunity to reset the machine in BASIC mode and give way to my creativity. My first programs were modest: writing my name on screen, performing binary-ternary-decimal conversions and drawing shapes on screen. Yet I felt utmost excited.

During the 1991 summer holidays, I spent my time on two things. First I wrote programs. I had no computer at home, but it did not matter: I wrote them on paper. Second I felt the urge of owning my own computer, so I spent a lot of time browsing through mail order catalogs, starting to get familiar with microprocessors (at that time the 68k family was still well represented, with several offers from Apple, Comodore-Amiga and Atari), clock speed, floppies and hard drives.

Thanks to the generosity of a grandmother, I was able to place an order in Fall 1991, and one night in November, a shiny Commodore PC 20-III, a 8088-powered PC clone with a 20MB hard disk and a VGA graphics card was delivered to my parents' door. It came with Microsoft Works, but I did not look at it first. It came with GeoWorks Ensemble but I did not look either. I just typed GWBASIC at the MS-DOS 4 prompt, and I coded for several hours in a row.

Over the next few months I coded, and coded again. I produced graphical “demos”, a timetable program, and I started to work on educational programs as a “subcontractor” for my teacher of a father. I quickly got a good grasp of MS-DOS and GW-BASIC, and I hit the limitations of this mostly-unstructured programming language. But surprisingly enough, it's not really the lack of “modern” features such as clean control structures and proper functions that made me crave for another language. More prosaically, I wanted to call DOS and BIOS interrupts (namely INT 33h, used to control the mouse), and this was cumbersome to do with GWBASIC (one had to write a machine-language snippet to do this, assemble it, or have DEBUG assemble it, and then you could include the hex dump of this into the GWBASIC program).

Therefore for my 12th birthday, I received a QuickBASIC 4.5 IDE. I quickly learnt the new control structures. Incidentally, I remember writing to the organizers of a coding contest, not a long time after taking up QuickBASIC: “Oh, my program does not used advanced features such as procedures and functions, I'm just a 12-year-old kid”, and just after thinking “why the heck am I writing this?”, “why in the first place don't I use advanced features?” Two hours later my program incorporated functions and procedures.

In 1993 I started to look into Windows, which I could not use on my 8088-based PC. Therefore I took advantage of a quite inexpensive deal at a local store to get a new PC, a Bull/Zenith Data Systems 386SX that came with Windows 3.1. At that time I had gotten quite technical: I remember asking at my local computer store a book “that described DOS and BIOS interrupts”. The surprised look of the storekeeper was memorable: “what do you call interrupts?”, “do you want a list of error messages?”. That year I got Visual Basic 3 as a birthday present. Visual Basic was great, but I felt somehow “trapped” into its event-driven model. Plus, I wanted to learn other languages.

First I did a little of assembly using the A86 package that was fine, but I was hindered by two things. First my knowledge of processor hardware was quite limited, so I had difficulties with addressing modes, and second I did not have a good documentation for A86. So I never undertook really interesting projects in assembly. Incidentally, the way I got the A86 distribution is to be noted: I used a Minitel, a dial-up computer terminal that was distributed to landline owners by the then state-run France Telecom. I used to hook up the Minitel to my computer, so I could download software on dedicated sites. By the way I got familiar with the Videotex standard used for Minitel display, and I did a lot of experiments that included displaying my own pictures on the Minitel screen, or moving the Minitel cursor with my PC mouse.

My 1993 letter to Santa included Turbo Pascal 7 and Michael Tischer's fantastic book, PC system programming (in French, La Bible du PC). This book described very thouroughly the hardware and software intrinsics of a PC. I rapidly got onto Pascal programming, so that around April 1994, I thought “Now that I have known Pascal for a long time, let's learn C”. So I ordered a copy of Turbo C 3 for DOS. In the following months and years, I would practice and practice again coding in these two languages.

I started to explore a new area starting at Christmas 1994: I got a Texas Instruments TI-82 programmable and graphing calculator. I had a lot of fun programming on calculators; being able to carry a programmable device along with me was an additional motivation. After the TI-82, I got a 68000-powered TI-92 with symbolic calculation in 1997. I made a lot of crazy things with both machines. For instance, the TI-82 did not have a “string” datatype. But I needed to store strings, and even to create records. So I designed a way to store strings and other random data into matrices. The system was very slow, but I was able to improve it a lot using the relative frequencies of letters in the alphabet. Another time, I hacked on the TI-82 “Picture” datatype, that by default enabled one to store and display screenshots only. I was able to display arbitrary pictures on the tiny calculator screen, including a photo of myself. In high school, I remember the amazement of my Latin teacher when one of my classmates showed him my TI-92 scansion program that was able to correctly determine the rythm of arbitrary Latin verses following the “dactylic hexameter” pattern (1998).

Back in the PC field, I spent some time hacking with an HP-GL plotter (1995) and trying to build a Morse decoder (1995). In itself, the decoder worked well, but I did not know enough electronics and signal processing to build a decent analog to digital converter. My makeshift converter did not have any filtering at all, it captured sound through a loudspeaker-microphone chain, hooked up to an op-amp that used a homemade optocoupler to get into the joystick port of my PC. Morse decoding worked fine provided there was no static and you were very quiet next to the radio transceiver, which was rarely the case!

In 1995 I bought a Pentium-powered PC, and used Windows 95. However, I still spent a lot of time programming on MS-DOS. In my high-school years I focused on more long-term projects and in 1997 I released advanced versions of my educational programs, Dactylo and Resistor, respectively programmed in Pascal (with a little Object Pascal and Assembly) and C (with a little basic C++).

Days after I finished high-school, I dived into Linux (Summer 1998). I had been exposed to a UNIX book years before, so I was very excited to “have UNIX at home”. From then on I spent a lot of time hacking on Linux.

In Fall 1998 I enroled in scientific “preparatory classes” and at the beginning of 1999 I had my first courses in computer science! We studied Caml, a functional language of the ML family, and it was a new horizon for me. Theoretical foundations were also totally new, so it was really fun.

In 1999 I learnt HTML, and the first version of my website was online. In 2000 I got fed up with Microsoft Office after the program crushed my work, so I learnt LaTeX. In Fall 2000 I entered Supélec, where we had C classes. A C veteran already, this gave me extra time to get into PHP, Perl, SQL and Java. By that time, Linux had become my primary operating system. In 2000-2001 I got involved with Supélec students' residential network, Supélec Rézo, where I became for one year the primary Linux administrator and architect.

Now computer science has been my job for several years, but when writing a program or devising some architecture, I'm still as excited as I was that day in 1991! And I'm still into learning new languages: I'm currently trying to get productive with Python and Javascript, while keeping an eye on other languages, namely C#.

Securing an untrusted Wifi access using SSH

Christophe Jacquet — Tue, 19 Jul 2011 19:58:00 +0200

It is now quite easy to get a Wifi connection while on the move, in public places or at hotels or holiday apartments. However, a majority of these access points are not to be relied upon. Most often, the network itself is open, and you log in on a web page. This means that the data exchanged between your laptop and the access point is unencrypted. In other words, anybody may eavesdrop on your data, even if they are not logged in. The same goes for Wifi networks “secured” with WEP, as the key may be recovered by any intruder in a matter of just a few minutes using off-the-shelf programs. And anyway, if you're on an unknown network, you never know if someone who has physical access to the network doesn't “monitor” traffic.

If you use only encrypted protocols on top of the insecure Wifi channel (e.g. HTTPS, POPS, SSH, etc.) it's not really a problem. For instance, you may safely connect to your bank account as it's done over HTTPS. However, if you connect to Wikipedia or Facebook for instance (which use HTTP), anybody may 1) steal your password if you log in, or 2) hijack your session if you have logged in already, and in any case 3) gain access to private information by just capturing exchanged data.

Therefore a basic recommendation is not to connect to websites requiring a log in and not offering HTTPS when on untrusted networks. Unfortunately this prevents you from using many sites. So here comes this solution. All you'll need is an SSH client on your laptop and a trusted computer, online somewhere on the Internet, accessible via SSH.

The connection between you and the trusted computer, using SSH, an encrypted protocol, is inherently secure, and may be safely used on an untrusted network. So the basic idea is to tunnel all your traffic through this secure channel. It's very easy using SSH, because the standard OpenSSH client has an option to create a SOCKS proxy on the local host. To do this just connect to the trusted computer using a command like:

ssh -D 8888 my.trusted.box

Once logged onto the computer, a SOCKS proxy will be opened on your laptop, here on port 8888.

Now all you have to do is to configure your browser or OS to use localhost, port 8888, as a SOCKS proxy. Firefox must be configured specifically (Advanced > Network > Proxy parameters), while Chrome, Safari and IE use system-wide parameters. After that, any HTTP connection will be delegated to your trusted computer, which will do it on your behalf. Note that on MacOSX, when you set a SOCKS proxy, it affects all connections, not just HTTP, so for instance when Mail.app sends an e-mail, it's actually done through your trusted computer.

Java: the problem with String.split()

Christophe Jacquet — Mon, 18 Jul 2011 21:24:00 +0200

Java's String class offers a very convenient split() method. In a pinch, you can write for instance

String components = myString.split(",");

to split a string into smaller substrings delimited by commas. So easy that one is prone to forget that the parameter of split() is not a string, but a regular expression. Powerful, but it comes at a cost: the regular expression must be compiled into a recognizer (into a Pattern in Java parlance) before it can be used to actually split the string. And the compilation step costs a lot.

An experiment: splitting strings repeatedly

I recently had to process a huge text file: 5 GB, 92 million lines. Each line had to be split into three parts separated by commas. After that the program parses one of the components as an integer, compares another component, computes a hash code and increments an integer in a 16 M-element array.

At first I naively used String.split() to split the string, with a one-character pattern (","), meaning that the pattern is compiled for each line, here 92 million times. And then I compiled the regular expression once and for all:

Pattern commas = Pattern.compile(",");

// and later
String components = commas.split(line);

I also tried to use a StringTokenizer:

StringTokenizer t = new StringTokenizer(line, ",");

// and then use t.countTokens() and t.nextToken()

And finally I wrote a hand-crafted parser, optimized as much as I could.

The results are as follows, using an Unibody MacBook Pro, 2.66 GHz Intel Core 2 Duo:

Method	Average execution time
Naive split()	160 s
Pre-compiled pattern and split()	130 s
StringTokenizer	160 s
Hand-crafted parser	130 s

Conclusions

Pattern compilation done by String.split() behind the scenes is very costly. Okay, here it's on average “only” 0.3 µs for compiling a one-character pattern. But repeated 92 million times, it increased the execution time of the whole program by 23%!

In conclusion, String.split() is very convenient when using a pattern once or a few times. But for any repeated processing, the way to go is to compile the pattern with Pattern.compile() first. Forget about StringTokenizer (it's inefficient and officially discouraged) and hand-crafted parsers (there's no clear benefit).