implement file format 2.0
[coquelicot.git] / README
diff --git a/README b/README
index 30858a7..1ef9024 100644 (file)
--- a/README
+++ b/README
@@ -1,5 +1,5 @@
-Coquelicot
-==========
+About “Coquelicot”
+==================
 
 Coquelicot is a "one-click" file sharing web application with a specific
 focus on protecting users' privacy.
@@ -8,30 +8,29 @@ Basic principle: users can upload a file to the server, in return they
 get a unique URL which can be shared with others in order to download
 the file.
 
-Coquelicot aims to protect, to some extend, users and system
+Coquelicot aims to protect, to some extent, users and system
 administrators from disclosure of the files exchanged from passive and
 not so active attackers.
 
 Features
 --------
- * Support for different authentication methods
-
-   It is possible to integrate your own authentication mechanisms. Such a 
-   mechanism, needs to implement a single method and provide some JS, as well 
-   as some template partial to render the common fields. For more information
-   have a look at the notes below.
 
- * Simplepass mechanism: Uploading a file is protected by a common password
+ * Support for different authentication methods
 
-   In order to prevent random Internet users to eat bandwidth and disk
-   space, uploading a file for sharing is protected by a common
-   password.
+   In order to prevent random Internet users to eat bandwidth and
+   disk space, Coquelicot limits upload to authenticated users.
+   It currently ships with two authentication mechanisms:
 
- * IMAP mechanism: Uploading is protected by an imap login
+    - "simplepass": users will need to provide a global, pre-shared,
+      password;
+    - "imap": users will need to provide a login and a password,
+      those credentials will be used to authenticate against an existing
+      IMAP server.
 
-   As a protection mechanism we can enable login via imap credentials. The user
-   will be asked to provide her imap credentials and we will perform an imap
-   login in order to authenticate the user.
+   It is possible to integrate more authentication mechanisms by
+   implementing a single method, some Javascript, and a template partial
+   to render the common fields. For more information have a look at the
+   notes below.
 
  * Mandatory expiration
 
@@ -43,9 +42,9 @@ Features
 
  * Support for one-time download
 
-   An user might want to allow exactly _one_ download of a file,
-   to more closely replace an email attachment. The file will be removed after
-   the first complete download and concurrent download are prevented.
+   An user might want to allow exactly _one_ download of a file, to more
+   closely replace an email attachment. The file will be removed after
+   the first complete download and concurrent downloads are prevented.
 
  * Upload progress bar
 
@@ -96,78 +95,151 @@ Features
    to make it harder to retrieve its content through filesystem
    analysis, it is filled with zeros first.
 
-Setup
------
+Installation
+------------
+
+Coquelicot is written in Ruby using the Sinatra web framework. Due to
+reasons detailed below, it needs to be run with the Rainbows! web
+server. The later should probably be made accessible through a reverse
+proxy.
+
+### Initial setup
 
-Coquelicot is written in Ruby using the Sinatra web framework.
+Coquelicot uses Bundler to manage its dependency. To install Bundler on
+Debian, please issue:
 
-On Debian, one can fulfill its dependencies by issuing:
+    # apt-get install rubygems
+    $ gem install bundler
 
-    apt-get install libsinatra-ruby1.8 libopenssl-ruby1.8 \
-                    libhaml-ruby1.8 liblockfile-ruby libgettext-ruby1.8 \
-                    libjson-ruby1.8 rake
+Once Bundler is available, please issue:
 
-Then create the translation catalog through:
+    $ bundle install --deployment --binstubs
 
-    rake makemo
+Then, to start Coquelicot use:
 
-Finally you need to figure out the best way to host a Rack application
-depending on your setup. *evil grin*
+    $ bin/rackup config.ru
 
-Coquelicot is intended to be run on a fully encrypted system and accessible
-only through HTTPS.
+Coquelicot is intended to be run on a fully encrypted system and
+accessible only through HTTPS. To configure Apache as a reverse proxy,
+you will need to add the following directives:
 
-Configuration
--------------
+    ProxyPass / http://127.0.0.1:9292/
+    SetEnv proxy-sendchunks 1
+    RequestHeader set X-Forwarded-SSL "on"
 
-By default Coquelicot is configured to authenticate with the simplepass mechanism
-and some other reasonable defaults. 
-It is possible to overwrite these settings from a configuration file named
-settings.yml that will be used if it is present in the conf directory of the
-application.
+You can also run Coquelicot with mod_passenger, Mongrel, Thin or any
+Rack compatible webserver.
+
+### Configuration
+
+By default Coquelicot is configured to authenticate with the
+"simplepass" mechanism and some other reasonable defaults.
+
+It is possible to overwrite these settings from a configuration file
+named `settings.yml` that will be used if it is present in the `conf`
+directory of the application.
 
 All available settings with their default values are documented in
-conf/settings-default.yml
+`conf/settings-default.yml`.
 
 Further settings example:
 
-* conf/settings-simplepass.yml: Shows how to change the default password for the 
-                                simplepass mechanism.
+ * `conf/settings-simplepass.yml`: shows how to change the default
+   password for the "simplepass" mechanism.
+
+ * `conf/settings-imap.yml`: necessary configuration for the "imap"
+   authentication mechanism.
+
+You can copy one of these examples to `conf/settings.yml` and adjust
+them according to your environment.
+
+### Garbage collection
+
+To cleanup files automatically when they expired, coquelicot comes with
+a cleanup script, that does the garbage collection for you. The easiest
+way is to add `ext/coquelicot_gc.rb` as a cron job that runs every 5
+minutes (or so).
+
+### Migrate from Jyraphe
+
+[Jyraphe] is another free software web file sharing application.
+Coquelicot provides a migration script to import Jyraphe 0.5
+repositories in `tools/migrate_jyraphe.rb`.
+
+[Jyraphe]: http://home.gna.org/jyraphe/
+
+Test, development and extensions
+--------------------------------
+
+Coquelicot is written in Ruby and should be quite easy to improve for
+anyone a little bit familiar with the Sinatra web framework. It is
+mostly written using Behaviour Driven Development, making the test suite
+a fine net to hack in confidence. So please go ahead!
+
+### Setup a work environment
+
+As Coquelicot uses Bundle, the first step to work on Coquelicot
+is installing the proper dependencies by issuing:
 
-* conf/settings-imap.yml: Necessary configuration for the imap authentication
-                          mechanism. 
+    bundle install
 
-You can copy one of these examples to conf/settings.yml and adjust them according
-to your environment.
+### Basic operations
 
-Garbage collection
-------------------
+Coquelicot test suite is written using RSpec. Running the test suite is
+just a matter of typing:
 
-To cleanup files automatically when they expired, coquelicot comes with a cleanup script, that does the garbage collection for you. The easiest way is to add ext/coquelicot_gc.rb as a cron job that runs every 5 minutes (or so).
+    bundle exec rspec
 
-Test suite
-----------
+Running a test server can be done with:
 
-Coquelicot test suite is written using RSpec.
+    bundle exec rackup config-development.ru
 
-On Debian, you will need those extra packages:
+To update the translation source files, use:
 
-    apt-get install librspec-ruby1.8 libhpricot-ruby1.8
+    bundle exec rake updatepo
 
-You will also need the unpackaged gems "timecop" and "rack-test".
+This will update `po/coquelicot.pot` and merge the new strings in the various
+`po/*/coquelicot.po` files.
 
-Then, running the test suite is just a matter of typing:
+### Authentication mechanisms
 
-    spec test_coquelicot.rb
+The authentication part of Coquelicot has been made modular. Adding a
+new authentication mechanism should be fairly straightforward.
 
-Migrate from Jyraphe
---------------------
+New authentication mechanism needs to provide the following 3 files,
+with the following responsabilities:
 
-Jyraphe [1] is another free software web file sharing application.
-Coquelicot provides a migration script to import Jyraphe 0.5 repositories in
-`tools/migrate_jyraphe.rb`.
+ * `lib/coquelicot/auth/<METHOD>.rb`:
 
-[1] http://home.gna.org/jyraphe/
+   A class implementing the actual authentication. This class must
+   implement an `authenticate` method. It will receive the form fields
+   as usual (params). This method should either return true if upload
+   should be allowed.
+
+ * `public/javascripts/coquelicot.auth.<METHOD>.js:`
+
+    This file should define 'authentication' as an object with the
+    following methods:
+
+    - `getData()`: returns an object of all the necessary data
+      to authenticate on the app side. Keys should have the same name
+      as the input fields used to authenticate without Javascript.
+    - `focus()`: set the focus on the first authentication form field.
+    - (optional) `handleSuccess()`: arbitrary action upon successful
+      authentication. This is called after the livebox is closed.
+    - (optional) `handleReject()`: arbitrary action when access
+      get rejected. One can reset authentication fields after a failed
+      authentication.
+    - (optional) `handleFailure()`: arbitrary action when there was
+      a problem in the authentication procedure.
+
+ * `views/auth/<METHOD>.haml`:
+
+   Render the necessary form fields that will be used for
+   authentication.
+
+   The authentication method can be set in the application settings
+   including mandatory options for this method.
 
 Future
 ------
@@ -199,85 +271,81 @@ Future
 Storage details
 ---------------
 
-Files are stored in the directory specified by the 'depot_path'
-setting.
+Files are stored in the directory specified by the 'depot_path' setting.
+One file in Coquelicot is actually stored in two files: one for metadata and
+one for the file content.
+
+### Metadata file
 
 The format is the following:
 
     --- 
-    Coquelicot: "1.0"
+    Coquelicot: "2.0"
     Salt: <8 bytes stored as Base64>
     Expire-at: <expiration time in seconds since epoch>
     --- 
-    <encrypted data>
+    <encrypted metadata>
 
 Encryption is done using OpenSSL. Cipher is AES-256-CBC with key and IV
-created using the pbkdf2_hmac_sha1() implementation of PKCS5. The later
-is fed using the former 'Salt' and the given passphrase.
+created using the `pbkdf2_hmac_sha1()` implementation of PKCS5. The later
+is fed using the former *Salt* and the given passphrase, using 2000
+iterations.
 
-Once decrypted, content has the following format:
+Once decrypted, the metadata have the following format:
 
     --- 
     Created-at: <upload time in seconds since epoch>
     Filename: "<original file name>"
     Content-Type: "<MIME type>"
-    Length: <file length is bytes>
+    Length: <content length is bytes>
     One-time-only: <true|false>
-    --- 
-    <original bytes forming the file content>
 
 Headers must be parseable using the YAML standard.
 
-File are truncated to zero length when they are "expired".
+### Content file
+
+The content file contains the stored file in encrypted form. Encryption is done
+with the same algorithm and keys as the encrypted metadata (see above).
+
+The file name of the content file is the same as the one for metada, with an
+added suffix of '.content'. For example, if the metadata file name is
+`mqeb4pfcru2ymq3e6se7`, the associated content file will be
+`mqeb4pfcru2ymq3e6se7.content`.
+
+### Expired files
+
+Both the content file and the metadata file are truncated to zero length when
+they are "expired".
+
+### URL mapping
 
 In order to map download URLs to file name, a simple text file ".links"
 is used. It contains a line for each file in the form:
 
-    <URL name> <file name>
-
-Authentication Mechanisms
--------------------------
-
-It is possible to authenticate users against your own common authentication
-mechanism.
-
-Such an authentication mechanism needs to provide the following 3 files:
-    
-* lib/coquelicot/auth/METHOD.rb
-* public/javascripts/coquelicot.auth.METHOD.js
-* views/auth/METHOD.haml
-    
-Their responsibilities are as followed:
-    
-lib/coquelicot/auth/METHOD.rb:
-    
-A module implementing the actual authentication. This module must
-implement one method called `authenticate` which will get all the
-parameters as an argument. To simplify your interaction with the field 
-`upload_token`, that might be serialized as json, we deserialize it prior
-to passing it to the `authenticate` method.
-    
-public/javascripts/coquelicot.auth.METHOD.js:
-    
-We expect 2 javascript methods in that file:
-    
-* authenticationData(): Return a hash of all the necessary data to
-                        authenticate on the app side.
-* authenticationFocus(): Set the focus on the first authentication form
-                         field
-    
-views/auth/METHOD.haml:
-    
-Render the necessary form fields that will be used for authentication.
-    
-The authentication method can be set in the application settings
-including mandatory options for this method.
+    <URL name> <metadata file name>
+
+### Changes history
+
+  version 2.0
+  :    Current version described above.
+
+  version 1.0
+  :    File content is in the same file as the metadata. Content is put in the
+       after the metadata and an extra "--- \n".
 
 Authors
 -------
 
-Coquelicot © 2010 potager.org <jardiniers@potager.org>
-mh © 2011 immerda.ch <mh+coquelicot@immerda.ch>
+    Coquelicot © 2010-2012 potager.org <jardiniers@potager.org>
+               © 2011 mh / immerda.ch  <mh+coquelicot@immerda.ch>
+
+Coquelicot is distributed under the [GNU Affero General Public License]
+version 3 or (at your option) any later version.
+
+Background image (`public/images/background.jpg`) derived from:  
+[“coquelicot”] © 2008 Jean-Louis Zimmermann  
+Licensed under [Creative Commons Attributions 2.0 Generic]  
 
-Coquelicot is distributed under the GNU Affero General Public License
-version 3. See LICENSE for details.
+[“coquelicot”]: https://secure.flickr.com/photos/jeanlouis_zimmermann/2478019744/
+[GNU Affero General Public License]: http://www.gnu.org/licenses/agpl.txt
+[Creative Commons Attributions 2.0 Generic]: https://creativecommons.org/licenses/by/2.0/deed