/ テキスト / dedupe
広告を非表示メンバー
テーマ: システムコントラスト: 標準

重複行を削除

リストから重複した行を削除します。最初または最後のコピーを残す、大文字小文字や空白を無視する、繰り返される行をすべて取り除くこともできます。

コード例

自分のプロジェクトにコピーして使えます。どの例も言語の標準ライブラリだけを使うので、インストールするものはありません。

最大 3 言語に星を付けると、すべてのツールページで先頭に表示されます。

JavaScript をお気に入りに追加
const lines = ['b', 'a', 'b', 'c', 'a']

console.log([...new Set(lines)].join('\n'))

できること

リストから繰り返される行を削除します。各行を1つずつ残す、2回以上現れる行をすべて取り除く、繰り返される行だけを表示する、から選べます。残した行は元の順序で、入力したままです。

使い方

  1. 1行に1項目を入力または貼り付けるか、テキストファイルをドロップします。
  2. モードを選び、最初のコピーと最後のコピーのどちらを残すか決めます。「その他」で 大文字小文字を区別 をオフにすると Apple と apple が一致し、行の前後の空白を無視 をオンにすると末尾のスペースで行が別扱いになりません。
  3. 結果をコピーまたはダウンロードします。空行を削除 は先に空行を取り除きます。

例

各行を1つずつ残す:

b            b
a            a
b      →     c
c
a

繰り返される行をすべて削除 では、同じリストから c だけが残ります。繰り返しだけを表示 では b と a が残ります。

知っておくと便利なこと

  • 最後のコピーを残すと、各行は最後に現れた位置に置かれます。b, a, b, c, a は b, c, a になります。
  • 大文字小文字を区別しない場合、最初に見つかったコピーが、入力した大文字小文字のまま残ります。
  • 空行も行として数えます。空行を削除しない限り、2つの空行は重複です。
  • テキスト末尾の改行1つは、空行を足さず最後の行を終わらせます。

重複行はどう見つけますか?

2つの行は、テキストが同一のとき重複です。大文字小文字を区別しない場合、Apple と apple は同じ行として扱われ、前後の空白を無視する場合は末尾にスペースのある行もない行と一致します。残した行は入力したまま、元の順序で保たれます。

よくある質問

1つ残すのと、繰り返される行をすべて削除するのとの違いは?

1つ残すは各行を1つずつ残すので、a, b, a は a, b になります。繰り返される行をすべて削除は、2回以上現れるものをすべて取り除くので、a, b, a は b になります。1回しか現れない値を探すのに使います。

最後のコピーを残すと順序は変わりますか?

残した行は、残したコピーの位置の順になります。最後のコピーを残すと a, b, a は b, a になります。最後の a が b の後にあるためです。

このツールは行をどこかに送信しますか?

いいえ。すべてブラウザ内で行われます。入力した内容が当社のサーバーに送信されることはありません。

このツールの変更履歴

キーボードショートカット

閉じる

どこでも

ツールと操作を検索
Ctrl K
このヘルプを表示
?
テーマを切り替え
Ctrl Shift L
選択したツールをピン留め(検索内)
Ctrl P

ツール上

出力を最初の候補に送る
Ctrl ↵
ファイルを入力に開く
Ctrl O
出力をコピー
Ctrl Shift C
検索を閉じるesc
ツールBase64 エンコーダー/デコーダーテキストを Base64 にエンコード、または Base64 をテキストにデコードします。標準と URL セーフの文字セットに対応しています。エンコードJSON フォーマッター/バリデーターJSON を整形、圧縮、検証します。エラーの行と列を正確に表示します。整形正規表現テスターJavaScript の正規表現を、リアルタイムのハイライト、キャプチャグループ、わかりやすい言葉での説明とともにテストします。テキストUUID・ULID ジェネレーターUUID v4・UUID v7・ULID をまとめて生成できます。IDを貼り付ければ、バージョン、バリアント、タイムスタンプを確認できます。ジェネレーターUnixタイムスタンプ変換Unixタイムスタンプと日時を相互に変換。任意のタイムゾーンに対応し、ISO 8601、RFC 2822、相対時間も表示します。日付と時刻ハッシュ・HMAC ジェネレーターテキストやファイルの MD5、SHA-1、SHA-2、SHA-3、BLAKE2、BLAKE3、CRC-32 ハッシュを計算します。HMAC にも対応しています。セキュリティパスワードジェネレーター&強度チェックランダムなパスワード、パスフレーズ、PINを生成したり、パスワードの強度を調べたりできます。セキュリティJWT デコーダー・検証ツールJSON Web Token をデコードし、有効期限やクレームを確認し、シークレットや公開鍵で署名を検証できます。セキュリティCIDR・IPサブネット計算機IPv4・IPv6ネットワークの範囲、マスク、サイズを計算し、サブネットに分割して、包含や重複を確認できます。ネットワークCron式の解説ツールCron式を分かりやすい言葉で読み、任意のタイムゾーンでの次回実行を確認し、標準形に整えます。日付と時刻行を並べ替えテキストの行を A から Z、Z から A、自然順(file2 が file10 より前)、コードポイント順、数値順、長さ順に並べ替えます。テキスト重複行を削除リストから重複した行を削除します。最初または最後のコピーを残す、大文字小文字や空白を無視する、繰り返される行をすべて取り除くこともできます。テキストリストとテキストを比較2つのリストを行ごとに比較:両方にある行、片方だけの行、どちらかにある行を見つけたり、マーク付きの行差分を並べて表示したりできます。テキスト大文字小文字の変換とスラッグテキストを camelCase、snake_case、kebab-case、Title Case などに変換、またはタイトルをアクセント処理付きの URL スラッグに変換します。テキストURL のエンコード・デコード・解析URL 用にテキストをパーセントエンコード/デコードしたり、URL をスキーム・ホスト・パス・クエリに分解してクエリを表として編集したりできます。エンコードIBAN・BSN・VAT 検証ツールIBAN、オランダの BSN、クレジットカード番号、EU VAT 番号、メールアドレス、URL、ISBN を検証し、失敗時は理由を表示。1行に1つの値。検証HTML エンティティのエンコード・デコードテキストを名前付き・10進・16進のエンティティで HTML 用にエスケープしたり、& や é などのエンティティを文字に戻したりします。エンコード文字列のエスケープとアンエスケープJSON・JavaScript 文字列、SQL 文字列、CSV フィールド、正規表現、シェルの語向けにテキストをエスケープしたり、エスケープを元に戻したりします。エンコードEAN・UPC・GTIN チェックデジットEAN-8、EAN-13、UPC-A、GTIN-14 のチェックデジットを検証し、欠けた桁を計算し、GS1 プレフィックスから国を表示し、ISBN-10 と EAN-13 を相互変換します。1行に1コード。検証テストデータ生成テスト用の IBAN、BSN、EAN バーコード、EU の VAT 番号をまとめて生成します。検証は通りますが、誰のものでもありません。ジェネレーターSQL 整形・圧縮ツールSQL を句ごとに改行して整形、または 1 行に圧縮します。MySQL・PostgreSQL・SQLite・SQL Server・BigQuery に対応。整形基数変換2進数・8進数・10進数・16進数と、2〜36の任意の基数を相互に変換します。大きな数、2の補数、ビット表示に対応。エンコードYAML・TOML・JSON 変換JSON・YAML・TOML を相互に変換したり、文書を検証して整形したりします。エラーは行と列で表示します。整形CSV と JSON の変換CSV を JSON の配列に、JSON を CSV に変換します。区切り文字を自動判別し、セミコロンと小数点カンマの Excel ファイルも読めます。データGlob / .gitignore テスターパスの一覧に対して glob パターンと .gitignore ルールを試し、どのパスがどのルールで一致するかを確認します。テキストカラー変換色を HEX・RGB・HSL・HWB・OKLCH 間で変換し、背景とのWCAGコントラストを確認し、Material 3のトーナルパレットも作れます。整形chmod 計算機Unix のファイル権限を8進数(755)、文字(rwxr-xr-x)、ls -l、chmod の記述の間で変換します。チェックボックスと setuid・setgid・sticky ビット付き。セキュリティユーザーエージェント解析User-Agent 文字列を読み取り、ブラウザ、エンジン、OS、デバイス種別、ボットかどうかを表示します。空のままにすると自分のブラウザを解析します。ネットワークcURLをコードに変換cURLコマンドを貼り付けると、同じリクエストをfetch、Axios、Python requests、Go、PHPのコードで得られます。実行も送信もしません。ネットワークMarkdown プレビューMarkdown を書くと入力に合わせて表示し、HTML もコピーできます。生の HTML は文字として表示され、リンクも検査されるので、プレビュー内で何も実行されません。整形バーコード・QRコード作成QRコード、EAN-13、UPC-A、Code 128、ITF-14、Data Matrixを作成し、SVGやPNGで保存。画像からコードを読み取ることもできます。ジェネレーターページ変更履歴各リリースの変更点ページこのサイトについてcodeknife.dev とは何か、誰が作っているのかページアイデア改善案を提案し、他の訪問者のアイデアに投票できます。ページプライバシーブラウザから出るものと保存されるものページアクセシビリティ適合状況、既知の制限、問題の報告方法ページメンバーシップ広告を非表示にして上限を拡大ページ操作