Emacs をデフォルトの設定で何かファイルを編集していると、たくさんファイルが出来てゲンナリします。

あと、起動した Emacs 単位でこういうファイルも作られます。

ファイルを保存すると①と②が消えます。③は残ります。Emacs を終了すると④は消えます。
当然ですが、Emacs が強制終了すると①②④は消えません。
一切作らない方法
③を作りたくない方は多いと思うので、こんな設定をする方も多いと思います。
(setq make-backup-files nil)
④も作りたくない方はこちら。Mule 時代は HOME に作られたので、結構ウザかったです。
(setq auto-save-list-file-prefix nil)
②も作りたくない方はこちら。
(setq create-lockfiles nil)
①は調べてません。出来ないかもしれません。
作成先の変更
とはいえバージョン管理していない場合、③はあればうれしいかもしれません。
実は③の作成先はカスタマイズ可能です。HOME 以下のファイルを対象に、OSX のゴミ箱 ~/.Trash に変更してみましょう。~/.Trash/!Users!masutaka!hoge!aaa.txt~ のようなファイルが作られます。
(add-to-list 'backup-directory-alist
             (cons (expand-file-name "~/") (expand-file-name "~/.Trash/")))
ついでに①も変更してみます。同様に ~/.Trash/#!Users!masutaka!hoge!aaa.txt# のようなファイルが作られます。
(add-to-list 'auto-save-file-name-transforms
             `("~/\\([^/]*/\\)*\\([^/]*\\)$" "~/.Trash/\\2" t))
④はもっと簡単です。こちらも ~/.Trash/.saves-70938-Takashi-no-MacBook-Air.local~ のようなファイルが作られます。
(setq auto-save-list-file-prefix "~/.Trash/.saves-")
詳しくはヘルプ (F1 v) をご覧ください。
②は分かりませんでした。
DRY に書く
EmacsLisp もプログラミング言語です。DRY に書きます。
(let ((target-dir (expand-file-name "~/"))
      (dest-dir (expand-file-name "~/.Trash/")))
  ;; ① 自動保存ファイル (#*#) の作成先変更
  (add-to-list 'auto-save-file-name-transforms
               `(,(concat target-dir "\\([^/]*/\\)*\\([^/]*\\)$")
                 ,(concat dest-dir "\\2")
                 t))
  ;; ③ バックアップファイル (*~) の作成先変更
  (add-to-list 'backup-directory-alist (cons target-dir dest-dir))
  ;; ④ 自動保存リスト (.saves-<PID>-<HOSTNAME>) の作成先変更
  (setq auto-save-list-file-prefix (expand-file-name ".saves-" dest-dir)))
追記(2014-05-12):
cvmat さんに教えていただいたので、②を作らない方法を追記しました。
@masutaka プロセスでのロックを表す②はEmacs 24.3以降なら create-lockfiles という変数をnilにすれば作られなくなるようです→ http://t.co/uPCVbVRJ89
— mat (@cvmat) May 12, 2014