Time Machineはとても良くできたバックアップソフトです。Time Machineでバックアップをとっておけば、万一Macにトラブルが起こっても、簡単に復旧することができます。
また、消してしまったファイル、メール、写真など、Time Machineに残っていれば復旧することができます。さらに、Macを買い替えたときや、OS Xを再インストールしたときにも、これまで使っていた状態に復旧することができます。
一番基本的な使い方は、USB接続した外付けハードディスク丸ごと1台をTime Machineとして使う方法です。ハードディスクの接続方法は、普通はUSB 3.0だと思いますが、WiFiやThunderboltで使うこともできます。
外付けハードディスクにはMac用として販売されているものがありますが、Windows用でも問題なく使えます。ただしこの場合、ディスクユーティリティを使ってGUID、Mac OS 拡張(ジャーナリング)でフォーマットし直す必要があります。
Windows用などを使うと、価格的なメリットがあります。
私は、ハードディスクケースと中身のハードディスクをバラバラに購入しています。そうすれば、追加のハードディスクを買うときに安くなりますし、もし故障してもケースかディスクのどちらか片方です。
WiFi接続の場合、Appleタイムカプセルは問題ないですが、他社のNASを使うときは、Mac OS X対応と明示したものを選びます。