get rid of badger everywhere, including as an sdk/hints backend.
This commit is contained in:
fiatjaf
2
sdk/cache/memory/cache.go
vendored
2
sdk/cache/memory/cache.go
vendored
@@ -4,7 +4,7 @@ import (
|
||||
"encoding/binary"
|
||||
"time"
|
||||
|
||||
"github.com/dgraph-io/ristretto"
|
||||
"github.com/dgraph-io/ristretto/v2"
|
||||
)
|
||||
|
||||
type RistrettoCache[V any] struct {
|
||||
|
||||
@@ -1,220 +0,0 @@
|
||||
package badgerh
|
||||
|
||||
import (
|
||||
"fmt"
|
||||
"math"
|
||||
"slices"
|
||||
|
||||
"fiatjaf.com/nostr"
|
||||
"fiatjaf.com/nostr/sdk/hints"
|
||||
"github.com/dgraph-io/badger/v4"
|
||||
)
|
||||
|
||||
var _ hints.HintsDB = (*BadgerHints)(nil)
|
||||
|
||||
type BadgerHints struct {
|
||||
db *badger.DB
|
||||
}
|
||||
|
||||
func NewBadgerHints(path string) (*BadgerHints, error) {
|
||||
opts := badger.DefaultOptions(path)
|
||||
opts.Logger = nil
|
||||
db, err := badger.Open(opts)
|
||||
if err != nil {
|
||||
return nil, fmt.Errorf("failed to open badger db: %w", err)
|
||||
}
|
||||
return &BadgerHints{db: db}, nil
|
||||
}
|
||||
|
||||
func (bh *BadgerHints) Close() {
|
||||
bh.db.Close()
|
||||
}
|
||||
|
||||
func (bh *BadgerHints) Save(pubkey nostr.PubKey, relay string, hintkey hints.HintKey, ts nostr.Timestamp) {
|
||||
if now := nostr.Now(); ts > now {
|
||||
ts = now
|
||||
}
|
||||
|
||||
err := bh.db.Update(func(txn *badger.Txn) error {
|
||||
k := encodeKey(pubkey, relay)
|
||||
var tss timestamps
|
||||
item, err := txn.Get(k)
|
||||
if err == nil {
|
||||
err = item.Value(func(val []byte) error {
|
||||
// there is a value, so we may update it or not
|
||||
tss = parseValue(val)
|
||||
return nil
|
||||
})
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
} else if err != badger.ErrKeyNotFound {
|
||||
return err
|
||||
}
|
||||
|
||||
if tss[hintkey] < ts {
|
||||
tss[hintkey] = ts
|
||||
return txn.Set(k, encodeValue(tss))
|
||||
}
|
||||
|
||||
return nil
|
||||
})
|
||||
if err != nil {
|
||||
nostr.InfoLogger.Printf("[sdk/hints/badger] unexpected error on save: %s\n", err)
|
||||
}
|
||||
}
|
||||
|
||||
func (bh *BadgerHints) TopN(pubkey nostr.PubKey, n int) []string {
|
||||
type relayScore struct {
|
||||
relay string
|
||||
score int64
|
||||
}
|
||||
|
||||
scores := make([]relayScore, 0, n)
|
||||
err := bh.db.View(func(txn *badger.Txn) error {
|
||||
opts := badger.DefaultIteratorOptions
|
||||
opts.Prefix = pubkey[:]
|
||||
it := txn.NewIterator(opts)
|
||||
defer it.Close()
|
||||
|
||||
for it.Seek(opts.Prefix); it.Valid(); it.Next() {
|
||||
item := it.Item()
|
||||
k := item.Key()
|
||||
relay := string(k[32:])
|
||||
|
||||
err := item.Value(func(val []byte) error {
|
||||
tss := parseValue(val)
|
||||
scores = append(scores, relayScore{relay, tss.sum()})
|
||||
return nil
|
||||
})
|
||||
if err != nil {
|
||||
continue
|
||||
}
|
||||
}
|
||||
return nil
|
||||
})
|
||||
if err != nil {
|
||||
nostr.InfoLogger.Printf("[sdk/hints/badger] unexpected error on topn: %s\n", err)
|
||||
return nil
|
||||
}
|
||||
|
||||
slices.SortFunc(scores, func(a, b relayScore) int {
|
||||
return int(b.score - a.score)
|
||||
})
|
||||
|
||||
result := make([]string, 0, n)
|
||||
for i, rs := range scores {
|
||||
if i >= n {
|
||||
break
|
||||
}
|
||||
result = append(result, rs.relay)
|
||||
}
|
||||
return result
|
||||
}
|
||||
|
||||
func (bh *BadgerHints) GetDetailedScores(pubkey nostr.PubKey, n int) []hints.RelayScores {
|
||||
type relayScore struct {
|
||||
relay string
|
||||
tss timestamps
|
||||
score int64
|
||||
}
|
||||
|
||||
scores := make([]relayScore, 0, n)
|
||||
err := bh.db.View(func(txn *badger.Txn) error {
|
||||
it := txn.NewIterator(badger.DefaultIteratorOptions)
|
||||
defer it.Close()
|
||||
|
||||
for it.Seek(pubkey[:]); it.ValidForPrefix(pubkey[:]); it.Next() {
|
||||
item := it.Item()
|
||||
k := item.Key()
|
||||
relay := string(k[32:])
|
||||
|
||||
var tss timestamps
|
||||
err := item.Value(func(v []byte) error {
|
||||
tss = parseValue(v)
|
||||
return nil
|
||||
})
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
|
||||
scores = append(scores, relayScore{relay, tss, tss.sum()})
|
||||
}
|
||||
return nil
|
||||
})
|
||||
if err != nil {
|
||||
return nil
|
||||
}
|
||||
|
||||
slices.SortFunc(scores, func(a, b relayScore) int {
|
||||
return int(b.score - a.score)
|
||||
})
|
||||
|
||||
result := make([]hints.RelayScores, 0, n)
|
||||
for i, rs := range scores {
|
||||
if i >= n {
|
||||
break
|
||||
}
|
||||
result = append(result, hints.RelayScores{
|
||||
Relay: rs.relay,
|
||||
Scores: rs.tss,
|
||||
Sum: rs.score,
|
||||
})
|
||||
}
|
||||
return result
|
||||
}
|
||||
|
||||
func (bh *BadgerHints) PrintScores() {
|
||||
fmt.Println("= print scores")
|
||||
|
||||
err := bh.db.View(func(txn *badger.Txn) error {
|
||||
it := txn.NewIterator(badger.DefaultIteratorOptions)
|
||||
defer it.Close()
|
||||
|
||||
var lastPubkey nostr.PubKey
|
||||
i := 0
|
||||
|
||||
for it.Seek(nil); it.Valid(); it.Next() {
|
||||
item := it.Item()
|
||||
k := item.Key()
|
||||
pubkey, relay := parseKey(k)
|
||||
|
||||
if pubkey != lastPubkey {
|
||||
fmt.Println("== relay scores for", pubkey)
|
||||
lastPubkey = pubkey
|
||||
i = 0
|
||||
} else {
|
||||
i++
|
||||
}
|
||||
|
||||
err := item.Value(func(val []byte) error {
|
||||
tss := parseValue(val)
|
||||
fmt.Printf(" %3d :: %30s ::> %12d\n", i, relay, tss.sum())
|
||||
return nil
|
||||
})
|
||||
if err != nil {
|
||||
continue
|
||||
}
|
||||
}
|
||||
return nil
|
||||
})
|
||||
if err != nil {
|
||||
nostr.InfoLogger.Printf("[sdk/hints/badger] unexpected error on print: %s\n", err)
|
||||
}
|
||||
}
|
||||
|
||||
type timestamps [4]nostr.Timestamp
|
||||
|
||||
func (tss timestamps) sum() int64 {
|
||||
now := nostr.Now() + 24*60*60
|
||||
var sum int64
|
||||
for i, ts := range tss {
|
||||
if ts == 0 {
|
||||
continue
|
||||
}
|
||||
value := float64(hints.HintKey(i).BasePoints()) * 10000000000 / math.Pow(float64(max(now-ts, 1)), 1.3)
|
||||
// fmt.Println(" ", i, "value:", value)
|
||||
sum += int64(value)
|
||||
}
|
||||
return sum
|
||||
}
|
||||
196
sdk/hints/bbolth/db.go
Normal file
196
sdk/hints/bbolth/db.go
Normal file
@@ -0,0 +1,196 @@
|
||||
package bbolth
|
||||
|
||||
import (
|
||||
"fmt"
|
||||
"math"
|
||||
"slices"
|
||||
|
||||
"fiatjaf.com/nostr"
|
||||
"fiatjaf.com/nostr/sdk/hints"
|
||||
"go.etcd.io/bbolt"
|
||||
)
|
||||
|
||||
var _ hints.HintsDB = (*BoltHints)(nil)
|
||||
|
||||
var (
|
||||
hintsBucket = []byte("hints")
|
||||
)
|
||||
|
||||
type BoltHints struct {
|
||||
db *bbolt.DB
|
||||
}
|
||||
|
||||
func NewBoltHints(path string) (*BoltHints, error) {
|
||||
db, err := bbolt.Open(path, 0600, nil)
|
||||
if err != nil {
|
||||
return nil, fmt.Errorf("failed to open bbolt db: %w", err)
|
||||
}
|
||||
|
||||
// Create the hints bucket
|
||||
err = db.Update(func(tx *bbolt.Tx) error {
|
||||
_, err := tx.CreateBucketIfNotExists(hintsBucket)
|
||||
return err
|
||||
})
|
||||
if err != nil {
|
||||
db.Close()
|
||||
return nil, err
|
||||
}
|
||||
|
||||
return &BoltHints{db: db}, nil
|
||||
}
|
||||
|
||||
func (bh *BoltHints) Close() {
|
||||
bh.db.Close()
|
||||
}
|
||||
|
||||
func (bh *BoltHints) Save(pubkey nostr.PubKey, relay string, hintkey hints.HintKey, ts nostr.Timestamp) {
|
||||
if now := nostr.Now(); ts > now {
|
||||
ts = now
|
||||
}
|
||||
|
||||
err := bh.db.Update(func(tx *bbolt.Tx) error {
|
||||
b := tx.Bucket(hintsBucket)
|
||||
k := encodeKey(pubkey, relay)
|
||||
var tss timestamps
|
||||
|
||||
if v := b.Get(k); v != nil {
|
||||
tss = parseValue(v)
|
||||
}
|
||||
|
||||
if tss[hintkey] < ts {
|
||||
tss[hintkey] = ts
|
||||
return b.Put(k, encodeValue(tss))
|
||||
}
|
||||
|
||||
return nil
|
||||
})
|
||||
if err != nil {
|
||||
nostr.InfoLogger.Printf("[sdk/hints/bbolt] unexpected error on save: %s\n", err)
|
||||
}
|
||||
}
|
||||
|
||||
func (bh *BoltHints) TopN(pubkey nostr.PubKey, n int) []string {
|
||||
type relayScore struct {
|
||||
relay string
|
||||
score int64
|
||||
}
|
||||
|
||||
scores := make([]relayScore, 0, n)
|
||||
err := bh.db.View(func(tx *bbolt.Tx) error {
|
||||
b := tx.Bucket(hintsBucket)
|
||||
c := b.Cursor()
|
||||
|
||||
prefix := pubkey[:]
|
||||
for k, v := c.Seek(prefix); k != nil && len(k) >= 32 && string(k[:32]) == string(prefix); k, v = c.Next() {
|
||||
relay := string(k[32:])
|
||||
tss := parseValue(v)
|
||||
scores = append(scores, relayScore{relay, tss.sum()})
|
||||
}
|
||||
return nil
|
||||
})
|
||||
if err != nil {
|
||||
nostr.InfoLogger.Printf("[sdk/hints/bbolt] unexpected error on topn: %s\n", err)
|
||||
return nil
|
||||
}
|
||||
|
||||
slices.SortFunc(scores, func(a, b relayScore) int {
|
||||
return int(b.score - a.score)
|
||||
})
|
||||
|
||||
result := make([]string, 0, n)
|
||||
for i, rs := range scores {
|
||||
if i >= n {
|
||||
break
|
||||
}
|
||||
result = append(result, rs.relay)
|
||||
}
|
||||
return result
|
||||
}
|
||||
|
||||
func (bh *BoltHints) GetDetailedScores(pubkey nostr.PubKey, n int) []hints.RelayScores {
|
||||
type relayScore struct {
|
||||
relay string
|
||||
tss timestamps
|
||||
score int64
|
||||
}
|
||||
|
||||
scores := make([]relayScore, 0, n)
|
||||
err := bh.db.View(func(tx *bbolt.Tx) error {
|
||||
b := tx.Bucket(hintsBucket)
|
||||
c := b.Cursor()
|
||||
|
||||
prefix := pubkey[:]
|
||||
for k, v := c.Seek(prefix); k != nil && len(k) >= 32 && string(k[:32]) == string(prefix); k, v = c.Next() {
|
||||
relay := string(k[32:])
|
||||
tss := parseValue(v)
|
||||
scores = append(scores, relayScore{relay, tss, tss.sum()})
|
||||
}
|
||||
return nil
|
||||
})
|
||||
if err != nil {
|
||||
return nil
|
||||
}
|
||||
|
||||
slices.SortFunc(scores, func(a, b relayScore) int {
|
||||
return int(b.score - a.score)
|
||||
})
|
||||
|
||||
result := make([]hints.RelayScores, 0, n)
|
||||
for i, rs := range scores {
|
||||
if i >= n {
|
||||
break
|
||||
}
|
||||
result = append(result, hints.RelayScores{
|
||||
Relay: rs.relay,
|
||||
Scores: rs.tss,
|
||||
Sum: rs.score,
|
||||
})
|
||||
}
|
||||
return result
|
||||
}
|
||||
|
||||
func (bh *BoltHints) PrintScores() {
|
||||
fmt.Println("= print scores")
|
||||
|
||||
err := bh.db.View(func(tx *bbolt.Tx) error {
|
||||
b := tx.Bucket(hintsBucket)
|
||||
c := b.Cursor()
|
||||
|
||||
var lastPubkey nostr.PubKey
|
||||
i := 0
|
||||
|
||||
for k, v := c.First(); k != nil; k, v = c.Next() {
|
||||
pubkey, relay := parseKey(k)
|
||||
tss := parseValue(v)
|
||||
|
||||
if pubkey != lastPubkey {
|
||||
fmt.Println("== relay scores for", pubkey)
|
||||
lastPubkey = pubkey
|
||||
i = 0
|
||||
} else {
|
||||
i++
|
||||
}
|
||||
|
||||
fmt.Printf(" %3d :: %30s ::> %12d\n", i, relay, tss.sum())
|
||||
}
|
||||
return nil
|
||||
})
|
||||
if err != nil {
|
||||
nostr.InfoLogger.Printf("[sdk/hints/bbolt] unexpected error on print: %s\n", err)
|
||||
}
|
||||
}
|
||||
|
||||
type timestamps [4]nostr.Timestamp
|
||||
|
||||
func (tss timestamps) sum() int64 {
|
||||
now := nostr.Now() + 24*60*60
|
||||
var sum int64
|
||||
for i, ts := range tss {
|
||||
if ts == 0 {
|
||||
continue
|
||||
}
|
||||
value := float64(hints.HintKey(i).BasePoints()) * 10000000000 / math.Pow(float64(max(now-ts, 1)), 1.3)
|
||||
sum += int64(value)
|
||||
}
|
||||
return sum
|
||||
}
|
||||
@@ -1,4 +1,4 @@
|
||||
package badgerh
|
||||
package bbolth
|
||||
|
||||
import (
|
||||
"encoding/binary"
|
||||
@@ -6,9 +6,9 @@ import (
|
||||
"fiatjaf.com/nostr"
|
||||
)
|
||||
|
||||
func encodeKey(pubhintkey nostr.PubKey, relay string) []byte {
|
||||
func encodeKey(pubkey nostr.PubKey, relay string) []byte {
|
||||
k := make([]byte, 32+len(relay))
|
||||
copy(k[0:32], pubhintkey[:])
|
||||
copy(k[0:32], pubkey[:])
|
||||
copy(k[32:], relay)
|
||||
return k
|
||||
}
|
||||
@@ -1,21 +0,0 @@
|
||||
package test
|
||||
|
||||
import (
|
||||
"os"
|
||||
"testing"
|
||||
|
||||
"fiatjaf.com/nostr/sdk/hints/badgerh"
|
||||
)
|
||||
|
||||
func TestBadgerHints(t *testing.T) {
|
||||
path := "/tmp/tmpsdkhintsbadger"
|
||||
os.RemoveAll(path)
|
||||
|
||||
hdb, err := badgerh.NewBadgerHints(path)
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
defer hdb.Close()
|
||||
|
||||
runTestWith(t, hdb)
|
||||
}
|
||||
21
sdk/hints/test/bbolt_test.go
Normal file
21
sdk/hints/test/bbolt_test.go
Normal file
@@ -0,0 +1,21 @@
|
||||
package test
|
||||
|
||||
import (
|
||||
"os"
|
||||
"testing"
|
||||
|
||||
"fiatjaf.com/nostr/sdk/hints/bbolth"
|
||||
)
|
||||
|
||||
func TestBoltHints(t *testing.T) {
|
||||
path := "/tmp/tmpsdkhintsbbolt"
|
||||
os.RemoveAll(path)
|
||||
|
||||
hdb, err := bbolth.NewBoltHints(path)
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
defer hdb.Close()
|
||||
|
||||
runTestWith(t, hdb)
|
||||
}
|
||||
@@ -1,90 +0,0 @@
|
||||
package badger
|
||||
|
||||
import (
|
||||
"github.com/dgraph-io/badger/v4"
|
||||
"fiatjaf.com/nostr/sdk/kvstore"
|
||||
)
|
||||
|
||||
var _ kvstore.KVStore = (*Store)(nil)
|
||||
|
||||
type Store struct {
|
||||
db *badger.DB
|
||||
}
|
||||
|
||||
func NewStore(path string) (*Store, error) {
|
||||
opts := badger.DefaultOptions(path)
|
||||
db, err := badger.Open(opts)
|
||||
if err != nil {
|
||||
return nil, err
|
||||
}
|
||||
return &Store{db: db}, nil
|
||||
}
|
||||
|
||||
func (s *Store) Get(key []byte) ([]byte, error) {
|
||||
var valCopy []byte
|
||||
err := s.db.View(func(txn *badger.Txn) error {
|
||||
item, err := txn.Get(key)
|
||||
if err == badger.ErrKeyNotFound {
|
||||
return nil
|
||||
}
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
return item.Value(func(val []byte) error {
|
||||
valCopy = make([]byte, len(val))
|
||||
copy(valCopy, val)
|
||||
return nil
|
||||
})
|
||||
})
|
||||
if err != nil {
|
||||
return nil, err
|
||||
}
|
||||
return valCopy, nil
|
||||
}
|
||||
|
||||
func (s *Store) Set(key []byte, value []byte) error {
|
||||
return s.db.Update(func(txn *badger.Txn) error {
|
||||
return txn.Set(key, value)
|
||||
})
|
||||
}
|
||||
|
||||
func (s *Store) Delete(key []byte) error {
|
||||
return s.db.Update(func(txn *badger.Txn) error {
|
||||
return txn.Delete(key)
|
||||
})
|
||||
}
|
||||
|
||||
func (s *Store) Close() error {
|
||||
return s.db.Close()
|
||||
}
|
||||
|
||||
func (s *Store) Update(key []byte, f func([]byte) ([]byte, error)) error {
|
||||
return s.db.Update(func(txn *badger.Txn) error {
|
||||
var val []byte
|
||||
item, err := txn.Get(key)
|
||||
if err == nil {
|
||||
err = item.Value(func(v []byte) error {
|
||||
val = make([]byte, len(v))
|
||||
copy(val, v)
|
||||
return nil
|
||||
})
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
} else if err != badger.ErrKeyNotFound {
|
||||
return err
|
||||
}
|
||||
|
||||
newVal, err := f(val)
|
||||
if err == kvstore.NoOp {
|
||||
return nil
|
||||
} else if err != nil {
|
||||
return err
|
||||
}
|
||||
|
||||
if newVal == nil {
|
||||
return txn.Delete(key)
|
||||
}
|
||||
return txn.Set(key, newVal)
|
||||
})
|
||||
}
|
||||
96
sdk/kvstore/bbolt/store.go
Normal file
96
sdk/kvstore/bbolt/store.go
Normal file
@@ -0,0 +1,96 @@
|
||||
package bbolt
|
||||
|
||||
import (
|
||||
"fiatjaf.com/nostr/sdk/kvstore"
|
||||
"go.etcd.io/bbolt"
|
||||
)
|
||||
|
||||
var _ kvstore.KVStore = (*Store)(nil)
|
||||
|
||||
var (
|
||||
defaultBucket = []byte("default")
|
||||
)
|
||||
|
||||
type Store struct {
|
||||
db *bbolt.DB
|
||||
bucket []byte
|
||||
}
|
||||
|
||||
func NewStore(path string) (*Store, error) {
|
||||
db, err := bbolt.Open(path, 0600, nil)
|
||||
if err != nil {
|
||||
return nil, err
|
||||
}
|
||||
|
||||
// Create the default bucket
|
||||
err = db.Update(func(tx *bbolt.Tx) error {
|
||||
_, err := tx.CreateBucketIfNotExists(defaultBucket)
|
||||
return err
|
||||
})
|
||||
if err != nil {
|
||||
db.Close()
|
||||
return nil, err
|
||||
}
|
||||
|
||||
return &Store{db: db, bucket: defaultBucket}, nil
|
||||
}
|
||||
|
||||
func (s *Store) Get(key []byte) ([]byte, error) {
|
||||
var val []byte
|
||||
err := s.db.View(func(tx *bbolt.Tx) error {
|
||||
b := tx.Bucket(s.bucket)
|
||||
if b == nil {
|
||||
return nil
|
||||
}
|
||||
val = b.Get(key)
|
||||
if val != nil {
|
||||
// Make a copy since bbolt reuses the slice
|
||||
valCopy := make([]byte, len(val))
|
||||
copy(valCopy, val)
|
||||
val = valCopy
|
||||
}
|
||||
return nil
|
||||
})
|
||||
return val, err
|
||||
}
|
||||
|
||||
func (s *Store) Set(key []byte, value []byte) error {
|
||||
return s.db.Update(func(tx *bbolt.Tx) error {
|
||||
b := tx.Bucket(s.bucket)
|
||||
return b.Put(key, value)
|
||||
})
|
||||
}
|
||||
|
||||
func (s *Store) Delete(key []byte) error {
|
||||
return s.db.Update(func(tx *bbolt.Tx) error {
|
||||
b := tx.Bucket(s.bucket)
|
||||
return b.Delete(key)
|
||||
})
|
||||
}
|
||||
|
||||
func (s *Store) Close() error {
|
||||
return s.db.Close()
|
||||
}
|
||||
|
||||
func (s *Store) Update(key []byte, f func([]byte) ([]byte, error)) error {
|
||||
return s.db.Update(func(tx *bbolt.Tx) error {
|
||||
b := tx.Bucket(s.bucket)
|
||||
var val []byte
|
||||
if v := b.Get(key); v != nil {
|
||||
val = make([]byte, len(v))
|
||||
copy(val, v)
|
||||
}
|
||||
|
||||
newVal, err := f(val)
|
||||
if err == kvstore.NoOp {
|
||||
return nil
|
||||
} else if err != nil {
|
||||
return err
|
||||
}
|
||||
|
||||
if newVal == nil {
|
||||
return b.Delete(key)
|
||||
}
|
||||
return b.Put(key, newVal)
|
||||
})
|
||||
}
|
||||
Reference in New Issue
Block a user