行の並べ替えと重複削除
sort や uniq のように行を並べ替えて重複を削除
行の並べ替えと重複削除について
このツールはブラウザー上で sort や uniq コマンドのように動作します。リストを貼り付けるか .txt / .csv ファイルを開き、アルファベット順、自然順、数値順、長さ順、逆順、または再現可能なシャッフルで並べ替え、完全一致・大文字小文字の無視・正規化のいずれかで重複行を削除できます。行の統計と削除された重複の一覧で、何が変わったかを正確に確認できます。
使い方
- 1.1 行に 1 項目ずつ貼り付けるか、.txt / .csv ファイルを開くか、サンプルを読み込みます。
- 2.並べ替え順と重複の判定方法を選びます。
- 3.重複の最初と最後のどちらを残すか、行をトリムするか、空行を削除するかを選びます。
- 4.行の統計と「削除された重複」タブを確認します。
- 5.結果をコピーまたはダウンロードします。
処理の順序
毎回同じ順序で処理します:改行コード(CRLF、CR、LF)の統一、有効な場合は各行のトリム、有効な場合は空行の削除、重複の削除、最後に残った行の並べ替え。トリムが先に行われるため、「各行をトリム」がオンのときは "apple" と "apple " が重複として扱われます。
並べ替えの詳細
A → Z と自然順は言語に応じた比較を使うため、アクセント付きの文字は元の文字の近くに並び、自然順では file2 が file10 より前になります。数値順は各行の先頭の数値(負数、小数、指数を含む)を読み取り、先頭に数値がない行は入力順のまま末尾に置きます。並べ替えはすべて安定で、同等とみなされる行は入力順を保ちます。シャッフルはシード付きの乱数を使うため、「再シャッフル」を選ぶまでは同じ入力から同じ順序になります。
プライバシーと制限
行はブラウザー内で処理され、アップロードされません。この端末に保存されるのはオプションの選択だけです。入力は 20,000,000 文字まで対応し、大きな入力は入力が止まってから更新されます。プレビューには最初の 20,000 行を表示し、コピーとダウンロードにはすべての行が含まれます。CSV ファイルは通常の行として扱うため、複数行にまたがる引用符付きフィールドは結合されません。
